1.修改主机名和主机IP
1.1 修改/etc/sysconfig/network
NETWORKING=yes
HOSTNAME=master
1.2 修改/etc/sysconfig/network-scripts/ifcfg-eth0
注意GETWAY一定要设置对,window上用ipconfig可以查看网关。
DEVICE=eth0
HWADDR=08:00:27:A8:14:06
TYPE=Ethernet
UUID=1a40b90a-cd24-44d7-a926-3c886cd8ba85
ONBOOT=yes
NM_CONTROLLED=yes
BOOTPROTO=static
IPADDR=192.168.0.66
NETMASK=255.255.255.0
GETWAY=192.168.0.1
1.3 在/etc/host文件后添加
192.168.0.66 master
192.168.0.67 slave01
192.168.0.68 slave02
1.4 重启机器
reboot
2.在Master上安装JDK(安装过程省略)
2.1 在/etc/profile末尾添加
export JAVA_HOME=/root/JDK/jdk1.8.0_251
export CLASSPATH=.:${JAVA_HOME}/jre/lib/rt.jar:${JAVA_HOME}/lib/dt.jar:${JAVA_HOME}/lib/tools.jar
export PATH=$PATH:${JAVA_HOME}/bin
export HADOOP_HOME=/root/hadoop/hadoop
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
2.2 使/etc/profile文件生效
source /etc/profile
java -version
如果出现以下内容则配置成功
3.在Master上安装Hadoop(安装过程省略,记住要把hadoop安装文件名改为hadoop)
3.1配置SSH无密钥登录(参考下面链接的即可)
http://dblab.xmu.edu.cn/blog/install-hadoop-in-centos/
3.2 修改/hadoop/etc/hadoop/core-site.xml
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://master:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/root/Hadoop/tmp</value>
</property>
</configuration>
3.3 hdfs格式化
hdfs namenode -format
3.4 启动hadoop
start-all.sh start
service iptables stop
用浏览器访问 master的IP+50070 端口
4.hadoop集群配置
4.1 复制master,生成slave01和slave02主机
我用的使Virtual Box,直接右键master主机就可以复制。然后你需要做的的就是修改slave01和slave02主机的IP。
我这里配置的IP分别为192.168.0.67和192.168.0.68。可以参照1.2的配置静态IP的过程。
4.2 三个节点上修改/hadoop/etc/hadoop/slave文件
master
slave01
slave02
这样通过start-dfs.sh就可以启动master、slave01和slave02。通过master的IP+50070 端口查看。
4.3 三个节点上修改/hadoop/etc/hadoop/yarn-site.xml和/hadoop/etc/hadoop/mapred-site.xml 分别为
/hadoop/etc/hadoop/yarn-site.xml
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.resourcemanager.hostname</name>
<value>master</value>
</property>
<property>
<name>yarn.nodemanager.auxservices.mapreduce.shuffle.class</name>
<value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
/hadoop/etc/hadoop/mapred-site.xml
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
到这一步你就可以start-yarn.sh,jsp一下可以看到所有节点都有 NodeManager。