从0开始搭建hadoop2.X.X集群环境

硬件：vmware10.0.7

软件：

①安装centos系统，我这里安装的是7

hadoop2.5.2

jdk1.8.X

②配置ip

配置ip前先给贴下vmware 的设置

vmware【编辑】->【虚拟网络编辑器】

虚拟机设置

这样就能使本地机器和虚拟机上的集群处于一个局域网

③将第一步的centos复制2份，并在虚拟机中打开，启动

④分别配置ip

第一句命令是想看看网卡是那一个，发现是eno16777736

第二句命令是配置ip

sudo ip addr add 192.168.141.50/24 dev eno16777736

第三句ping命令是看看是否能ping通主机

按照这个方法再设置02,03两台虚拟机

确保互相能ping通后，就可以在xshell上操作了

配置静态ip

路径/etc/sysconfig/network-scripts

红色部分为添加或修改

做完后重启网络

systemctl restart network

出现的问题：

重启时报如下错误

Could not load file '/etc/sysconfig/network-scripts/ifcfg-lo

主要是另外两个centos是拷贝的，网卡地址没改，所以先用ip addr查看网卡地址，然后改上面那个图里的配置。

这里先配置一个分布式系统管理工具pssh，以后需要配置集群时尽量从工具开始

下载insecure_pssh-master.zip，本地解压并传到服务器上，我这里传到50这台服务器上，

参考 http://blog.csdn.net/newstruts/article/details/46424191

⑤同步服务器时间

切换到root用户下，分别执行

yum -y install ntp

ntpdate time.nist.gov

systemctl enable ntpd

systemctl ntpd start

⑤安装jdk

先下载jdk

传到50服务器上

解压

tar -zxvf jdk-8u121-linux-x64.gz

然后使用pssh传到

./pscp -h hosts.txt ../jdk-8u121-linux-x64.gz  /home/zhang01/

解压

./pssh -h hosts.txt -P "tar -xvf jdk-8u121-linux-x64.gz"

分别配置环境变量

vi /etc/profile

添加内容

export JAVA_HOME=/home/zhang01/jdk1.8.0_121

export CLASSPATH=.:$JAVA_HOME/lib:$JAVA_HOME/jre/lib:$CLASSPATH

export PATH=$JAVA_HOME/bin:$JAVA_HOME/jre/bin:$PATH

保存。

source /etc/profile

⑥上传hadoop到50机器，并解压，使用pssh将hadoop再分别放到51,52机器上。

/home/zhang01/hadoop-2.5.2/etc/hadoop

需要配置的文件：

1，hadoop-env.sh

2，修改yarn-env.sh

3，配置core-site.xml

4，hdfs-site.xml（下图的value应该改成2）

5，yarn-site.xml

6,mapred-site.xml

复制 mapred-site-template.xml 文件

cp mapred-site.xml.template mapred-site.xml

编辑mapred-site.xml

在master节点上配置slaves

编辑slaves文件

配置hadoop启动环境变量（master和slave上都需要）

vi ~/.bash_profile

source ~/.bash_profile

创建数据目录（master和slave上都需要）

kdir /home/zhang01/hadoopdata

启动hadoop集群

格式化hadoop（hadoop master节点）

hdfs namenode -fromat

启动hadoop

执行sbin目录下的start-all.sh

ssh localhost也要成功

报错

2017-03-06 20:41:05,306 INFO org.apache.hadoop.ipc.Client: Retrying connect to server: zhang01/192.168.141.50:9000. Already tried 8 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1000 MILLISECONDS)

master节点上有防火墙，关闭

sudo systemctl stop firewalld.service

sudo systemctl disable firewalld.service

启动集群/sbin/start-all.sh跑例子

hadoop jar hadoop-mapreduce-examples-2.5.2.jar pi 10 10

发现一只hang在不动了，就是accepted状态

查了下这是因为node节点上没有配置RM的原因，

 

把crxy1 yarn-site.xml

 

<property>

    <name>yarn.resourcemanager.hostname</name>

    <value>crxy1</value>

 </property>

 

复制到nodeManager上，重启集群，执行hadoop jar，的mr任务执行成功！！！

http://zhouchaofei2010.iteye.com/blog/2116178