Centos6.8 部署伪分布式Hadoop集群

1.修改主机名和主机IP

1.1 修改/etc/sysconfig/network

NETWORKING=yes
HOSTNAME=master

1.2 修改/etc/sysconfig/network-scripts/ifcfg-eth0

注意GETWAY一定要设置对，window上用ipconfig可以查看网关。

DEVICE=eth0
HWADDR=08:00:27:A8:14:06
TYPE=Ethernet
UUID=1a40b90a-cd24-44d7-a926-3c886cd8ba85
ONBOOT=yes
NM_CONTROLLED=yes
BOOTPROTO=static
IPADDR=192.168.0.66
NETMASK=255.255.255.0
GETWAY=192.168.0.1

1.3 在/etc/host文件后添加

192.168.0.66 master
192.168.0.67 slave01
192.168.0.68 slave02

1.4 重启机器

reboot

2.在Master上安装JDK（安装过程省略）

2.1 在/etc/profile末尾添加

export JAVA_HOME=/root/JDK/jdk1.8.0_251
export CLASSPATH=.:${JAVA_HOME}/jre/lib/rt.jar:${JAVA_HOME}/lib/dt.jar:${JAVA_HOME}/lib/tools.jar
export PATH=$PATH:${JAVA_HOME}/bin
export HADOOP_HOME=/root/hadoop/hadoop
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

2.2 使/etc/profile文件生效

source /etc/profile
java -version

如果出现以下内容则配置成功

3.在Master上安装Hadoop（安装过程省略，记住要把hadoop安装文件名改为hadoop）

3.1配置SSH无密钥登录（参考下面链接的即可）

http://dblab.xmu.edu.cn/blog/install-hadoop-in-centos/

3.2 修改/hadoop/etc/hadoop/core-site.xml

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://master:9000</value>
    </property>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/root/Hadoop/tmp</value>
    </property>
</configuration>

3.3 hdfs格式化

hdfs namenode -format

3.4 启动hadoop

start-all.sh start
service iptables stop

用浏览器访问 master的IP+50070 端口

4.hadoop集群配置

4.1 复制master，生成slave01和slave02主机

我用的使Virtual Box，直接右键master主机就可以复制。然后你需要做的的就是修改slave01和slave02主机的IP。

我这里配置的IP分别为192.168.0.67和192.168.0.68。可以参照1.2的配置静态IP的过程。

4.2  三个节点上修改/hadoop/etc/hadoop/slave文件

master
slave01
slave02

这样通过start-dfs.sh就可以启动master、slave01和slave02。通过master的IP+50070 端口查看。

4.3 三个节点上修改/hadoop/etc/hadoop/yarn-site.xml和/hadoop/etc/hadoop/mapred-site.xml 分别为

/hadoop/etc/hadoop/yarn-site.xml

   <property>
      <name>yarn.nodemanager.aux-services</name>
      <value>mapreduce_shuffle</value>
   </property>
   <property>
      <name>yarn.resourcemanager.hostname</name>
      <value>master</value>
   </property>
   <property>
      <name>yarn.nodemanager.auxservices.mapreduce.shuffle.class</name>
      <value>org.apache.hadoop.mapred.ShuffleHandler</value>
   </property>

 

/hadoop/etc/hadoop/mapred-site.xml

    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>

到这一步你就可以start-yarn.sh，jsp一下可以看到所有节点都有 NodeManager。