Hadoop+zookeeper集群环境搭建步骤(百分百安装，亲测有效)

Hadoop+zookeeper集群环境搭建步骤(百分百安装，亲测有效)

使用的软件
hadoop-2.7.5
zookeeper-3.4.5

安装hadoop，需要多台机器构建集群(最少3台) 这里我使用三台机器搭建hadoop伪分布式集群以及zookeeper

主机名	ip地址
bigdata1	192.168.100.7
bigdata2	192.168.100.8
bigdata3	192.168.100.9

1、配置ip地址

vim /etc/sysconfig/network-scripts/ifcfg-ens33

配置完成后重启网络服务然后

service network restart
ping www.baidu.com 

2、关闭SELINUX

vim /etc/selinux/config 
将enforcing注释掉 添加disabled 

3、关闭防火墙

​systemctl stop firewalld.service 关闭防火墙 
systemctl disable firewalld.service 永久关闭防火墙

4、修改主机名

vim /etc/hostname

5、域名映射

vim /etc/hosts

192.168.100.10	bigdata1 
192.168.100.20	bigdata2 
192.168.100.30	bigdata3

6、配置免密登录

每台机子都要生成密钥 ssh-keygen -t rsa 三次回车
将各个机子的密钥发送给主机(master)

ssh-copy-id bigdata1 
ssh-copy-id bigdata2 
ssh-copy-id bigdata3 

在主机中将密钥再分发给各个节点

scp /root/.ssh/authorized_keys bigdata2:/root/.ssh 
scp /root/.ssh/authorized_keys bigdata2:/root/.ssh

7、卸载openjdk，下载新的jdk上传并解压，配置环境变量

vim /etc/profile

export JRE_HOME=$JAVA_HOME/jre 
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar 
export JAVA_HOME=/usr/local/src/jdk1.8.0_211 
export HADOOP_HOME=/usr/local/src/hadoop-2.7.5/ 
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/sbin:$HADOOP_HOME/bin

配置完环境变量后需要source /etc/profile生效

8、下载zookeeper上传并解压

• 8.1、创建zkdata并再创建一个文件myid添加1
  echo 1 > /usr/local/src/zookeeper-3.4.5/zkdata/myid

• 8.2、进入zookeeper的conf目录将zoo_sample.cfg修改配置文件zoo.cfg
  ​ 添加以下内容：

dataDir=/usr/local/src/zookeeper-3.4.5/zkdata 
server.1 = bigdata1:2888:3888 
server.2 = bigdata2:2888:3888 
server.3 = bigdata3:2888:3888 
autopurge.snapRetainCount=3 
autopurge.purgeInterval=1

• 8.3、分发zookeeper到各个节点

cd /usr/local/src 
scp -r zookeeper-3.4.5 bigdata2:$PWD 
scp -r zookeeper-3.4.5 bigdata3:$PWD

修改zkdata/myid中的数字 > : 表示覆盖  >>: 表示追加 

在第二台机器中修改为2 ：
echo 2 > /usr/local/src/zookeeper-3.4.5/zkdata/myid
在第三台机器中修改为3 ：
echo 3 > /usr/local/src/zookeeper-3.4.5/zkdata/myid

• 8.4、在每台节点上启动zk
  ​ bin/zkServer.sh start

9、下载Hadoop上传并解压

修改6个配置文件
core-site.xml
hdfs-site.xml
yarn-site.xml
mapred-site.xml
slaves
hadoop-env.sh

1. core-site.xml

<configuration>
<!--  指定集群的文件系统类型:分布式文件系统 -->
	<proper