hadoop HA环境搭建

hadoop HA 环境搭建

---

一、系统及软件版本

linux操作系统	ubuntu18.04.3
hadoop	hadoop-2.9.0.tar.gz
zookeeper	zookeeper-3.4.12.tar.gz
jdk	jdk-8u171-linux-x64.tar.gz

所有安装包已经上传至sh的家目录下

后续所有操作均由sh用户完成

所有软件的安装位置为/apps下

二、部署规划

IP地址	主机名	安装软件	进程
192.168.133.101	node1	jdk、hadoop、zookeeper	namenode、resourcemanager
192.168.133.102	node2	jdk、hadoop、zookeeper	namenode、resourcemanager
192.168.133.103	node3	jdk、hadoop、zookeeper	datanode

三、基础环境配置

1.1、配置主机名（三台机器均执行）

​ 以node1为例:

sudo vi /etc/hostname
     	node1

1.2、配置hosts文件（三台机器均执行）

1.2.1、查看三台机器的ip地址（三台机器均执行）

ifconfig

1.2.2、配置hosts文件（三台机器均执行）

sudo vi /etc/hosts
	192.168.133.101 node1
	192.168.133.102 node2
	192.168.133.103 node3

1.3配置ssh免密登录

ssh-keygen -t rsa (三台机器均执行)

node1:

cd ~/.ssh
cat id.rsa_pub > authorized_keys

nod2、node3:

ssh-copy-id -i node1

node1:

cd ~/.ssh
chmod 600 authorized_keys
scp ~/.ssh/authorized_keys node2:~/.ssh
scp ~/.ssh/authorized_keys node3:~/.ssh

1.4、创建安装路径(三台机器均执行)

sudo mkdir /apps
chown -R sh:sh /apps

四、安装jdk

1.1、解压jdk

tar -zxvf ~/jdk-8u171-linux-x64.tar.gz -C /apps

1.2、给jdk重命名

mv jdk...  java

1.3、配置环境变量

vi ~/.bashrc
#添加以下内容
	export JAVA_HOME=/apps/java
	export PATH=$PATH:$JAVA_HOME/bin
#生效配置文件
source ~/.bashrc
#验证java是否安装成功
java -version

1.4、将Java发送到其他两个节点上

scp -r /apps/java node2:/apps
scp -r /apps/java node3:/apps

1.5、将环境变量文件发送到其他两个节点上

scp -r /home/sh/.bashrc node2:/home/sh/
scp -r /home/sh/.bashrc node3:/home/sh/
#生效环境变量
source ~/.bashrc
#验证java是否安装成功
java -version

五、安装zookeeper

1.1、解压zookeeper

tar -zxvf ~/zookeeper.. -C /apps

1.2、给zookeeper…重命名

mv zookeeper.. zookeeper

1.3、配置环境变量

vi ~/.bashrc
#添加以下内容
	export ZOOKEEPER_HOME=/apps/zookeeper
	export PATH=$PATH:$ZOOKEEPER_HOME/bin
#生效环境变量
source ~/.bashrc

1.4、修改zookeeper的配置文件

zookeeper的配置文件存放于zookeeper_home/conf

cd /apps/zookeeper/conf
#先将zoo.temp.. .cfg重命名 zoo.cfg
mv zoo.temo... zoo.cfg
vi zoo.cfg
#配置项
zkdataDir=/apps/zookeeper/zkdata
zkLogDir=/apps/zookeeper/zklog
server.1=node1:2888:3888
server.2=node2:2888:3888
server.3=node3:2888:3888

1.5、创建刚才zoo.cfg中zkdataDir、zkLogDir

cd /apps/zookeeper
mkdir zkdata
mkdir zklog

1.6、在zkdata中创建myid文件

cd /apps/zookeeper/zkdata
echo 1 > myid

1.7、将zookeeper分发到其他两台机器

scp -r /apps/zookeeper node02:/apps
scp -r /apps/zookeeper node03:/apps
#注意要修改一下zkdata中的myid跟zoo.cfg中的号对上

1.8、启动zookeeper（三台均执行）

zkServer.sh start 
zkServer.sh status

六、安装hadoop

1.1、解压hadoop

tar -zxvf ~/hadoop.... -C /apps

1.2、给hadoop重命名

mv hadoop... hadoop

1.3、配置环境变量

vi ~/.bashrc
#添加以下内容
	export HADOOP_HOME=/apps/hadoop
	export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

1.4、修改hadoop配置文件

hadoop的配置文件存放与hadoop_home/etc/hadoop

(1)、hadoop-env.sh

export JAVA_HOME=/apps/java

(2)、hdfs-site.xml

<configuration>
<property>
	<name>dfs.nameservices</name>
	<value>node</value>
</property>
<property>
	<name>dfs.ha.namenodes.node</name>
	<value>nn1,nn2</value>
</property>
<property>
	<name>dfs.namenode.rpc-address.node.nn1</name>
	<value>node1:8020</value>  //两台namenode
</property>
<property>
	<name>dfs.namenode.rpc-address.node.nn2</name>
	<value>node2:8020</value> 
</property>
<property>
	<name>dfs.namenode.http-address.node.nn1</name>
	<value>node1:50070</value> 
</property>
<property>
	<name>dfs.namenode.http-address.node.nn2</name>
	<value>node2:50070</value> 
</property>
<property>
	<name>dfs.namenode.shared.edits.dir</name>
	<value>qjournal://node1:8485;node2:8485;node3:8485/abc</value>
</property>

<property>
	<name>dfs.client.failover.proxy.provider.node</name>
	<value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
</property>
<property>
	<name>dfs.ha.fencing.methods</name>
	<value>sshfence</value>
</property>
<property>
	<name>dfs.ha.fencing.ssh.private-key-files</name>
	<value>/home/sh/.ssh/id_rsa</value>
</property>
<property>
	<name>dfs.journalnode.edits.dir</name>
	<value>/apps/journalnode</value>
</property>
<property>
	<name>dfs.ha.automatic-failover.enabled</name>
	<value>true</value>
</property>
</configuration>

(3)、mapred-site.xml

<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>

(4)、slaves

node1
node2
node3

(5)、yarn-site.xml

<configuration>
<property>
	<name>yarn.nodemanager.aux-services</name>
	<value>mapreduce_shuffle</value>
</property>
<property>
	<name>yarn.resourcemanager.ha.enabled</name>
	<value>true</value>
</property>
<property>
	<name>yarn.resourcemanager.cluster-id</name>
	<value>shnode</value>
</property>
<property>
	<name>yarn.resourcemanager.ha.rm-ids</name>
	<value>rm1,rm2</value>
</property>
<property>
	<name>yarn.resourcemanager.hostname.rm1</name>
	<value>node1</value>
</property>
<property>
	<name>yarn.resourcemanager.hostname.rm2</name>
	<value>node2</value>
</property>
<property>
	<name>yarn.resourcemanager.zk-address</name>
	<value>node1:2181,node2:2181,node3:2181</value>
</property>
</configuration>

(6)、core-site.xml

<configuration>
<property>
	<name>fs.defaultFS</name>
	<value>hdfs://node</value>
</property>
<property>
	<name>hadoop.tmp.dir</name>
	<value>/apps/hadoop/hadtmp</value>
</property>
<property>
	<name>ha.zookeeper.quorum</name>
	<value>node1:2181,node2:2181,node3:2181</value>
</property>
</configuration>

1.5、启动hadoop集群

（1）启动journalnode(三台均执行)

hadoop-daemon.sh start journalnode

（2）格式化namenode(node1)

hadoop namenode -format
#复制格式化文件到node2(core-site.xml中的hadoop.tmp.dir)
scp /apps/hadoop/hadtmp node2:/apps/hadoop/

（3）格式化zkfc(node1)

hdfs zkfc -formatZK

（4）启动dfs(node1)

start-dfs.sh

（5）启动yarn(node1)

start-yarn.sh

（6）启动node2的resourcemanager

yarn-daemon.sh start resourcemanager