安装hadoop－新手安装篇

参考《在windows上安装hadoop教程》

1.  安装SDK  版本在1.6以上，推荐1.6.0_32 

注意： 安装的时候JDK安装的路径不要含有空格及中文字符，否则出现莫名其妙的路径找不到的问题，原因在于java对于空格和中文字符的处理。

 

2. 安装cygwin

下载setup.exe后运行，选择download site时 填http://www.cygwin.cn/pub， 千万不要mirrors.163.com。前者包含很少量的包，只需选安装几个就行了（net->openssl, base->sed, dev->subversion等）；后者几乎包含所有的包以及文档，总数达3G以上）。

 

3. 配置环境变量

PATH： JDK的bin目录， cygwin的bin目录， cygwin的/usr/sbin等

JAVA_HOME 指向jre的目录。

 

4. sshd服务

安装：进入cygwin后，运行ssh-host-config选择 NOT use priviledge separation。

启动：在windows的管理工具－> 服务中启动 cygwin sshd服务

配置：在cygwin下执行 ssh-key-gen， 将 ~/.ssh/id_rsa.pub 拷贝成authorized_keys.  ssh localhost 后用who查看，即可看到自己的windows用户已经登录了。

 

5. 安装配置hadoop

下载：建议0.20以上版本

安装：直接解压缩即可，无需安装

配置： 1>  hadoop-env.sh: 修改JAVA_HOME指向JDK在cygwin下的安装目录

              2> core-cite.xml: 修改fs.default.name为hdfs:localhost:8888

              3> hdfs-site.xml

              4> mapred-site.xml: 修改mapred.job.tracker为localhost:9999

启动：1>进入hadoop的bin目录， ./start-all.sh.  

             2>./hadoop namenode -format 格式化hdfs (然后还需手工去tmp/hadoop-${user}/dfs把name文件夹的操作属性添加全，否则后面因权限问题访问不了）。　

             3>./hadoop fs -ls /  查看根目录。