hadoop 学习历程

公司有可能要用hadoop了，我极其兴奋，开始自己先研究了
以下内容均是来自互联网和自己的实践。
主要是记录自己的学习过程。

首先是要知道什么是hadoop,这个东西有什么用。

hadoop 是 Doug cutting 创建的 ，起源于 Apache Nutch,(一个网络搜索引擎)，它是lucene（文本搜索系统库）的一部分。

2003年google  发布了一遍论文：google分布式文件系统。GFS,这个可以解决在网页爬起和索引过程中的超大文件的存储需求。

2004年开始实现一个开源的实现，Nutch的分布式文件系统NDFS。

2004年google 发布了论文介绍他们的MapReduce系统

2005年Nutch实现了一个MapReduce,并且将主要的算法移植，用MapReduce+NDFS来运行。

2006年MapReduce+NDFS 被Nutch开发人员移出成为一个Lucene的子项目称为hadoop.

2008年hadoop成为了apache的顶级项目

2008年hadoop 在62秒内完成了1TB的数据的排列.

首先是要安装hadoop，我直接下的最新版本，hadoop2.0.3

系统用的是centOS6.3  64 

安装hadoop 的时候碰到了以下问题，

虽然centOS 是可以选择自带jdk，但是是openJDK,前辈有经验说，有用别的jdk出很多问题的，所以推荐用sun的

yum -y remove java java.....  卸载java openjdk

安装jdk，上传jdk，二种方式，第一种ftp，第二种安装lrzsz： yum -y install lrzsz 用secureCRT 。第二种适合个人。

安装hadoop ，一种直接wget 下载，一种上传。我选的是第一种。