全分布式Hadoop集群搭建

一.环境搭建准备

1.设置静态网络

vi  /etc/sysconfig/network-scripts/ifcfg-ens33

BOOTPROTO="dhcp"—>BOOTPROTO="static"

IPADDR=192.168.230.1(ip地址）

NETMASK=255.255.255.0（子网掩码）

GATEWAY=192.168.230.2（网关）

DNS1=8.8.8.8

DNS2=114.114.114.114

 2.修改主机名称

vi /etc/hostname

master

将三台虚拟机联系在一起

vi /etc/hosts

192.168.230.1 master

192.168.230.2 slave1

192.168.230.3 slave2

3.关闭防火墙

systemctl stop firewalld.service

systemctl diable firewalld

重启reboot

重启之后测试ping slave1

                      ping slave2

                      ping www.baidu.com

4.SSH免密钥登录

cd ~/.ssh    （如果没有，就ssh localhost)

ssh-keygen -t rsa(三次回车）

ssh-copy-id master

ssh-copy-id slave1

ssh-copy-id slave2

ssh slave1(检验是否成功)

 

 

5.关闭selinux安全模块

SELINUX=diabled

 

二. 全分布式配置hadoop环境

1.安装JAVA环境

首先用Xmanager Enterprise 5的Xftp将java和hadoop安装包传到master中

 解压tar -vxf jdk-8u172-linux-x64..gz

修改文件名称mv jdk1.8.0_172  java(方便后面配置环境变量）

配置环境变量：

vi /etc/profile

export JAVA_HOME=/root/java

export PATH=$PATH:$JAVA_HOME/bin

刷新：source /etc/profile

输入java，验证是否安装成功

java

2.安装Hadoop环境

解压tar -vxf hadoop-2.7.5.tar.gz

修改文件名称mv hadoop-2.7.5 hadoop(方便后面配置环境变量）

（1）配置环境变量：

vi /etc/profile

export HADOOP_HOME=/root/hadoop

export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

刷新：source /etc/profile

（2） 修改配置文件

 cd hadoop/etc/hadoop
①配置slaves文件

vi slaves

 ②配置文件core-site.xml

<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://master:9000</value>
</property>
</configuration>

③配置文件hdfs-site.xml

<configuration>
<property>
<name>dfs.namenode.secondary.http-address</name>
<value>slave1:50090</value>
</property>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.name.dir</name>
<value>/root/hadoop/data/namenode</value>
</property>
<property>
<name>dfs.data.dir</name>
<value>/root/hadoop/data/datanode</value>
</property>
<property>
<name>dfs.tmp.dir</name>
<value>/root/hadoop/data/tmp</value>
</property>
<property>
<name>dfs.namenode.safemode.threshold-pct:</name>
<value>0.55</value>
</property>
<property>
<name>dfs.permissions.enabled</name>
<value>false</value>
</property>
</configuration>

 ④配置mapred-site.xml

先改名：mv  mapred-site.xml.template  mapred-site.xml

<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>
 

⑤配置yarn-site.xml文件

<configuration>
<property>
<name>yarn.resourcemanager.hostname</name>
<value>master</value>
</property>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
</configuration>

 ⑥配置hadoop-env.sh文件

export JAVA_HOME=/root/java

export HADOOP_CONF_DIR=/root/hadoop/etc/hadoop

 

 3.主机的hadoop搭建成功后，将文件hadoop,java,path,/etc/profile文件复制到slave1和slave2中

scp -r /root/java root@slave1:/root

scp -r /root/java root@slave2:/root

scp -r /root/hadoop root@slave1:/root

scp -r /root/hadoop root@slave2:/root

scp -r /etc/profile root@slave1:/etc

scp -r /etc/profile root@slave2:/etc

刷新source /etc/profile (三台虚拟机都刷新)

4.启动

首次启动需要先在主节点master格式化

hdfs namenode -format

启动命令

start-all.sh

 jps查看进程

 

 

 查看web界面

在浏览器输入http://192.168.230.1:50070