Hadoop学习

一、基于Hadoop2.2.0的环境搭建

环境搭建主要包括几个步骤：

1、材料下载（centos6.5 32位、hadoop2.2.0等）

2、规划hadoop的master、slaver的hostname和ip

2、Vmware workstation10下安装centos6.5（包括配置ip、hostname、网关、DNS，激活eth口，关闭防火墙和SELinux，YUM下载各种linux命令工具（如vsftpd，ssh等），创建hadoop用户），同时需要PC机共享vmnet8，并使虚拟机变成NAT模式

3、周边工具安装与配置，包括SecureCRT、FlashFXP，并配置SSH hadoop用户无密码登陆

4、centos下安装jdk，并配置环境变量

5、安装hadoop2.2.0，包括hadoop各种配置文件的配置，master的ssh无密码登陆slaver（此时还没有slaver）

6、vmware克隆master，生成3个slaver，hadoop的配置文件保持不变，只需更新eth口、ip、hostname等信息，但是ssh无密码登陆的key追加还是要再在slaver上配置一下

7、完成以上6部后，要做到master和3个slaver之间，两两都能通过域名ping通，注意是域名，不是ip。

8、启动hadoop，包括格式化、start-all.sh等，此处要注意文件的权限可能造成启动namenode或者datanode失败。

9、运行wordcount程序

10、查看运行结果

PS：以上步骤中，前1~7步骤建议参考http://www.cnblogs.com/xia520pi/category/346943.html作者系列文章1-6，由于该作者不是针对2.2.0版本搭建的，所以第8步骤开始，建议参考http://www.micmiu.com/bigdata/hadoop/hadoop2x-cluster-setup/ ，主要是参考该文中的配置文件和启动方式，以及wordcount的运行。

二、搭建过程中遇到的几个问题和注意点

1、网络不通

      这里要特殊说明一下，之前装过macos的虚拟机，不需要人为配置ip，都是动态生成的，但是貌似centos不行，必须手动配置ip、网关、hostname、DNS等网络信息，此外，在vmware克隆时，需要更新对应的网口名，不然网口名称会冲突。

    同时，vmware使用NAT方式，本地连接要共享给vmnet8使用

2、许多linux命令工具需要自己下载，比如vim/ssh/vsftpd，这就要求首先要解决网络不通的问题

3、关闭防火墙和SELinux非常重要，尽量提早关闭，不需要考虑只关闭部分功能，直接整个禁用就OK

4、通过crt配置ssh免登陆时，一定要仔细按照文章中介绍的执行，不然很容易出错，追加是双向的

5、按照hadoop时，一定要注意各级目录的所属用户和权限，比如/usr/hadoop/tmp/

6、配置文件要参考第二篇博客的配置

7、hadoop启动后，可以通过如下地址查看运行情况：http://192.168.137.2:8088/cluster/apps

三、遇到的各种问题及解决办法

1、最小化安装CentOS6 VMware-tools安装几点注意事项：http://www.2cto.com/os/201111/112284.html

2、yum无法下载linux命令工具：http://www.linuxidc.com/Linux/2012-01/52608.htm http://www.xuexibar.cn/dlyy/qtzs/101551151.shtml

3、VMWare克隆或复制CentOS虚拟机后eth0不见了 出现了eth1 ： http://www.zrqblog.org/?p=561

4、格式化namenode错误：FATAL namenode.NameNode: Exception innamenode join：http://blog.csdn.net/abcjennifer/article/details/22393197  http://www.oschina.net/question/815959_76093

5、datanode没有启动：/usr/hadoop/tmp文件夹没有权限或者创建人应该是hadoop

6、wordcount运行卡住不动：slaver不健康引起的，/usr/hadoop/tmp/nm-local-dir;目录不存在，可能是tmp目录没有权限导致的。

四、历史链接

环境搭建：http://yymmiinngg.iteye.com/blog/706699

hadoop2.2.0 下载地址：http://mirrors.cnnic.cn/apache/hadoop/common/hadoop-2.2.0/

centos32位系统下载和安装：http://www.ihacksoft.com/centos-download-and-version-differences.html  http://isoredirect.centos.org/centos/6.5/isos/i386/

共有2个cd，通过迅雷下载，可以获取到2个cd的完整包：CentOS-6.5-i386-bin-DVD1to2.torrent

http://www.2cto.com/os/201111/112284.html

http://www.linuxidc.com/Linux/2012-01/52608.htm

http://www.xuexibar.cn/dlyy/qtzs/101551151.shtml

在centos虚拟机下安装hadoop2.2.0 （分布式）

http://www.micmiu.com/bigdata/hadoop/hadoop2x-cluster-setup/

http://www.zrqblog.org/?p=561

运行自带的wordcount

http://blog.csdn.net/abcjennifer/article/details/22393197

http://www.oschina.net/question/815959_76093