hadoop2.7.6集群搭建

前提

前提1：已经在VMware15上基于Centos7创建好三台虚拟机分别为master,slave1,slave2(建议这样命名，当然从节点（slave1,slave2）也可以用node1,node2等命名)
其中master作为主节点，接下来操作都在master上操作
前提2：已经安装好jdk1.8(三台虚拟机都要安装并让它生效)

开始搭建hadoop集群

1、关闭防火墙 master,slave1,slave2都要进行

永久关闭防火墙(下面两条任意一条都可以)
systemctl disable firewalld
chkconfig iptables off

查看防火墙状态(任意一条都可)
systemctl status firewalld
service  iptables status

出现下图状态，关闭成功

2、设置免密钥登录

在master中生成密钥文件

输入：
ssh-keygen -t rsa
一直回车

然后将密钥文件秘钥分发到所有节点（包括master）
注意:如果执行出错,进入/root/.ssh删除里面所有内容,从新执行

ssh-copy-id master
ssh-copy-id slave1
ssh-copy-id slave2

3、上传hadoop安装包 上传到msater 的/usr/local/jar/

注意：此路径自定义通过xftp来传（建议把上传的jar包统一到一个自定义文件夹放在/usr/local/下）

4、解压

首先进入到放压缩包的目录下（我的放jar包目录是/usr/loacl/jar）
所以

切换目录
cd /usr/local/jar
查看jar包是否存在
ll
存在后进行解压
tar -zxvf hadoop-2.7.6.tar.gz -C /usr/local/soft/

5、配置环境变量

进入配置文件
vim /etc/profile

按i进行修改,增加hadoop环境变量，将bin和sbin都配置到PATH中
#Hadoop
export HADOOP_HOME=/usr/local/soft/hadoop-2.7.6
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin

然后输入
source /etc/profile
使配置环境变量生效

6、修改配置文件

hadoop 配置文件在/usr/local/soft/hadoop-2.7.6/etc/hadoop/下

cd /usr/local/soft/hadoop-2.7.6/etc/hadoop/

6.1、slaves ： 从节点列表（datanode）

vim slaves
添加slave1, slave2 

6.2、hadoop-env.sh ： Hadoop 环境配置文件

vim hadoop-env.sh
修改JAVA_HOME
export JAVA_HOME=/usr/local/soft/jdk1.8.0_171

6.3、core-site.xml ： hadoop核心配置文件

vim core-site.xml 

在configuration中间增加以下内容

<property>
<name>fs.defaultFS</name>
<value>hdfs://master:9000</value>
</property>

<property>
<name>hadoop.tmp.dir</name>
<value>/usr/local/soft/hadoop-2.7.6/tmp</value>
</property>

<property>
<name>fs.trash.interval</name>
<value>1440</value>
</property>

6.4、hdfs-site.xml ： hdfs配置文件

vim hdfs-site.xml

在configuration中间增加以下内容

<property>
<name>dfs.replication</name>
<value>1</value>
</property>

<property>
<name>dfs.permissions</name>
<value>false</value>
</property>

6.5、yarn-site.xml： yarn配置文件

vim yarn-site.xml

在configuration中间增加以下内容

<property>
<name>yarn.resourcemanager.hostname</name>
<value>master</value>
</property>

<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>

<property>
<name>yarn.log-aggregation-enable</name>
<value>true</value>
</property>

<property>
<name>yarn.log-aggregation.retain-seconds</name>
<value>604800</value>
</property>

<property>  
<name>yarn.nodemanager.resource.memory-mb</name>  
<value>20480</value>  
</property>  

<property>  
<name>yarn.scheduler.minimum-allocation-mb</name>  
<value>2048</value>  
</property>  

<property>  
<name>yarn.nodemanager.vmem-pmem-ratio</name>  
<value>2.1</value>  
</property>  

6.6、mapred-site.xml： mapreduce配置文件

因为配置文件目录下没有mapred-site.xml，只有mapred-site.xml.template，所以要复制一个并重命名

mv  mapred-site.xml.template mapred-site.xml

vim mapred-site.xml

在configuration中间增加以下内容

<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>

<property>  
<name>mapreduce.jobhistory.address</name>  
<value>master:10020</value>  
</property>  

<property>  
<name>mapreduce.jobhistory.webapp.address</name>  
<value>master:19888</value>  
</property> 

7、将hadoop安装文件分发到子节点

scp -r /usr/local/soft/hadoop-2.7.6/ slave1:/usr/local/soft/
scp -r /usr/local/soft/hadoop-2.7.6/ slave2:/usr/local/soft/

8、格式化namenode

hdfs namenode -format 

9、启动hadoop

先进入sbin目录
cd /usr/local/soft/hadoop-2.7.6/sbin
然后
start-all.sh

10、访问hdfs页面验证是否安装成功

1.打开http://master:50070
2.使用jps命令查看进程


slave2同slave1

如果安装失败

stop-all.sh
再次重启的时候
1.需要手动将每个节点的tmp目录删除: 所有节点都要删除
rm -rf /usr/local/soft/hadoop-2.7.6/tmp
然后执行将namenode格式化
2.在主节点执行命令:
hdfs namenode -format
3.启动hadoop
start-all.sh