Centos7之Hadoop完全分布式集群搭建和配置

本文基于jdk-1.8.0_121， hadoop-2.7.3
主机：centos01 ip：192.168.233.128
从机1：centos02 ip：192.168.233.131
从机2：centos03 ip：192.168.233.132
以下操作在Xshell里完成
1.关闭防火墙
firewall-cmd --state
显示防火墙状态running/not running
systemctl stop firewalld
临时关闭防火墙，每次开机重启防火墙
systemctl disable firewalld
禁止防火墙服务。
2.传输JDK和HADOOP压缩包（在这里我们首先配置主机然后复制到从机）
到官网下载jdk-8u121-linux-x64.tar.gz 和hadoop-2.7.3.tar.gz安装包，使用Xshell里的xftp把安装包传到主机里
3.解压JDK、HADOOP

tar -zxvf jdk-8u121-linux-x64.tar.gz -C /opt/module 

解压安装

tar -zxvf hadoop-2.7.3.tar.gz -C /opt/module 

4.配置JDK并生效

 vi /etc/profile

文件添加：

 export JAVA_HOME=/opt/module/jdk1.8.0_121
 export PATH=$JAVA_HOME/bin:$PATH

Esc :wq!保存并退出。
不需要配置CLASSPATH

source /etc/profile

配置生效
运行命令

java -version，

检验是否成功。

5.配置HADOOP并生效

vi /etc/profile

文件添加：

export HADOOP_HOME=/opt/module/hadoop-2.7.3
export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

Esc :wq!保存并退出。
source /etc/profile配置生效
运行命令hadoop，检验是否成功。

6.修改主机Hadoop5个配置文件
二、修改以下5个配置文件
添加如下property：
1，core-site.xml

<!--配置HDFS主节点，namenode的地址，9000是RPC通信端口-->
<property>
        <name>fs.defaultFS</name>
        <value>hdfs://bigdata128:9000</value>
</property>
<!--配置HDFS数据块和元数据保存的目录，一定要修改-->
<property>
        <name>hadoop.tmp.dir</name>
        <value>/opt/module/hadoop-2.7.3/tmp</value>
</property> 

2，hdfs-site.xml

<!--注释配置数据块的冗余度，默认是3-->			 
<property>		 
	     <name>dfs.replication</name>		 
	     <value>3</value>		 
</property>		
<!--secondaryNameNode的主机地址--> 
<property>
         <name>dfs.namenode.secondary.http-address</name>
         <value>bigdata128:50090</value>
</property>

3，mapred-site.xml
cp mapred-site.xml.template mapred-site.xml

<!--配置MR程序运行的框架-->			 
<property>			 
	  <name>mapreduce.framework.name</name> 
	  <value>yarn</value> 
</property>	 

4，yarn-site.xml

<!--配置Yarn的节点-->			 
<property>			 
	  <name>yarn.resourcemanager.hostname</name> 
	  <value>bigdata128</value> 
</property>	 
<!--NodeManager执行MR任务的方式是Shuffle洗牌-->			 
<property>	 
	  <name>yarn.nodemanager.aux-services</name> 
	  <value>mapreduce_shuffle</value> 
</property>	 

5，slaves配置文件
三台虚拟机分别都运行命令

vi /opt/module/hadoop-2.7.3/etc/hadoop slaves

修改slaves为：

centos02
centos03

6，修改\etc\hosts配置文件
三台虚拟机都运行以下命令

vi /etc /hosts

注释已有内容，添加集群三台虚拟机的ip及对应主机名：

192.168.233.128 centos01
192.168.233.131 centos02
192.168.233.132 centos03

7，修改/etc/hostname配置文件
三台虚拟机都运行以下命令

vi /etc /hostname

添加各自的主机名centos01或者centos02或者centos03。
8，复制配置好的hadoop,jdk和配置文件到从机
在主机上运行复制命令：

 scp -r /opt/module/jdk1.8.0_121 root@centos02:/opt/module
 scp -r /opt/module/jdk1.8.0_121 root@centos03:/opt/module
 scp -r /opt/module/hadoop-2.7.3 root@centos02:/opt/module
 scp -r /opt/module/hadoop-2.7.3 root@centos03:/opt/module
 scp -r /etc/profile root@centos02:/etc/profile
 scp -r /etc/profile root@centos03:/etc/profile
 scp -r /etc/hosts root@centos02:/etc/hosts
  scp -r /etc/hosts root@centos03:/etc/hosts

重启全部虚拟机，主机名生效。
9，格式化
在主节点centos01上面输入格式化命令hdfs namenode -format，格式化集群。
注：如果不是第一次格式化，三台虚拟机都删除/opt/module/hadoop-2.7.3下面的tmp、logs目录：rm –rf /optmodule/hadoop-2.7.3/tmp rm –rf /opt/module/hadoop-2.7.3/logs
注：如果格式化之前启动过集群，先在主节点bigdata128上面停止集群（stop-all.sh），再格式化。
10，启动集群
在主节点centos01上面输入启动命令start-all.sh，启动集群。

输入jps命令
启动正常jps显示3台主机如上如下：



在Windows浏览器中访问网址http://192.168.233.128:50070，显示如下（在Windows中需要配置hosts文件，需添加

192.168.233.128 centos01
192.168.233.131 centos02
192.168.233.132 centos03