大数据最新hadoop3 HA部署，手把手教你5G时代Webview的正确使用姿势

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化资料的朋友，可以戳这里获取

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

dfs.ha.fencing.methods

sshfence

shell(/bin/true)

dfs.ha.fencing.ssh.private-key-files

/root/.ssh/id_rsa

dfs.ha.automatic-failover.enabled

true

2.修改hadoop-env.sh文件

vim hadoop-env.sh

添加内容

export JAVA_HOME=/opt/module/jdk1.8

export HDFS_NAMENODE_USER=root

export HDFS_DATANODE_USER=root

export YARN_RESOURCEMANAGER_USER=root

export YARN_NODEMANAGER_USER=root

export HDFS_JOURNALNODE_USER=root

export HDFS_ZKFC_USER=root

4.修改workers文件

vim workers

删除原来的localhost修改为

master

slave1

slave2

5.用scp分发第一、二步的文件到所以节点

cd /opt/module

scp –r hadoop3 slave1:/opt/module

scp –r hadoop3 slave2:/opt/module

6.启动journalnode服务（三个节点都要操作）

hdfs --daemon start journalnode

检查是否成功启动

jps

7.格式化namenode（格式化之前确保zookeeper服务与journalnode服务都已启动）

hdfs namenode -format

8.单独启动namenode(在master上执行)

hdfs --daemon start namenode

9.namenode主从信息同步（在slave1、slave2上执行）

hdfs namenode -bootstrapStandby

10.格式化zookeeper（只需要在master节点执行）

执行之前执行stop-dfs.sh先关掉journalnode进程

hdfs zkfc -formatZK

11.启动hadoop

start-dfs.sh

12.验证hadoop正常启动

jps

13.测试功能是否可用

三个节点web页面如下，其中master为active,slave1与slave2为standby

查看master节点的namenode进程号，并杀死进程

kill -9 20254

此时，发现master节点web页面打不开了，slave1节点变为active状态，slave2依旧是standby

配置YARN-HA集群

集群规划如下：

master	slave1	slave2
ResourceManager	ResourceManager	ResourceManager
NodeManager	NodeManager	NodeManager
Zookeeper	Zookeeper	Zookeeper

配置文件修改

1.修改yarn-site.xml，mapred.xml配置文件

yarn-site.xml

yarn.nodemanager.aux-services

mapreduce_shuffle

yarn.resourcemanager.ha.enabled

true

yarn.resourcemanager.cluster-id

cluster-yarn

yarn.resourcemanager.ha.rm-ids

rm1,rm2,rm3

yarn.resourcemanager.hostname.rm1

master

yarn.resourcemanager.webapp.address.rm1

master:8088

yarn.resourcemanager.address.rm1

master:8032

yarn.resourcemanager.scheduler.address.rm1

master:8030

yarn.resourcemanager.resource-tracker.address.rm1

master:8031

yarn.resourcemanager.hostname.rm2

slave1

yarn.resourcemanager.webapp.address.rm2

slave1:8088

yarn.resourcemanager.address.rm2

slave1:8032

yarn.resourcemanager.scheduler.address.rm2

slave1:8030

yarn.resourcemanager.resource-tracker.address.rm2

slave1:8031

yarn.resourcemanager.hostname.rm3

slave2

yarn.resourcemanager.webapp.address.rm3

slave2:8088

yarn.resourcemanager.address.rm3

slave2:8032

yarn.resourcemanager.scheduler.address.rm3

slave2:8030

yarn.resourcemanager.resource-tracker.address.rm3

slave2:8031

yarn.resourcemanager.zk-address

master:2181,slave1:2181,slave2:2181

yarn.resourcemanager.recovery.enabled

true

yarn.resourcemanager.store.class

org.apache.hadoop.yarn.server.resourcemanager.recovery.ZKRMStateStore

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化资料的朋友，可以戳这里获取

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

yarn.resourcemanager.store.class

org.apache.hadoop.yarn.server.resourcemanager.recovery.ZKRMStateStore

[外链图片转存中…(img-eVxYxQA2-1715437622684)]
[外链图片转存中…(img-UZLiPSrb-1715437622685)]

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化资料的朋友，可以戳这里获取

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！