大数据最新hadoop3 HA部署(1)，已拿offer

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化资料的朋友，可以戳这里获取

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

dfs.namenode.rpc-address.mycluster.nn1

master:8020

dfs.namenode.rpc-address.mycluster.nn2

slave1:8020

dfs.namenode.rpc-address.mycluster.nn3

slave2:8020

dfs.namenode.http-address.mycluster.nn1

master:9870

dfs.namenode.http-address.mycluster.nn2

slave1:9870

dfs.namenode.http-address.mycluster.nn3

slave2:9870

dfs.namenode.shared.edits.dir

qjournal://master:8485;slave1:8485;slave2:8485/mycluster

dfs.client.failover.proxy.provider.mycluster

org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider

dfs.ha.fencing.methods

sshfence

shell(/bin/true)

dfs.ha.fencing.ssh.private-key-files

/root/.ssh/id_rsa

dfs.ha.automatic-failover.enabled

true

2.修改hadoop-env.sh文件

vim hadoop-env.sh

添加内容

export JAVA_HOME=/opt/module/jdk1.8

export HDFS_NAMENODE_USER=root

export HDFS_DATANODE_USER=root

export YARN_RESOURCEMANAGER_USER=root

export YARN_NODEMANAGER_USER=root

export HDFS_JOURNALNODE_USER=root

export HDFS_ZKFC_USER=root

4.修改workers文件

vim workers

删除原来的localhost修改为

master

slave1

slave2

5.用scp分发第一、二步的文件到所以节点

cd /opt/module

scp –r hadoop3 slave1:/opt/module

scp –r hadoop3 slave2:/opt/module

6.启动journalnode服务（三个节点都要操作）

hdfs --daemon start journalnode

检查是否成功启动

jps

7.格式化namenode（格式化之前确保zookeeper服务与journalnode服务都已启动）

hdfs namenode -format

8.单独启动namenode(在master上执行)

hdfs --daemon start namenode

9.namenode主从信息同步（在slave1、slave2上执行）

hdfs namenode -bootstrapStandby

10.格式化zookeeper（只需要在master节点执行）

执行之前执行stop-dfs.sh先关掉journalnode进程

hdfs zkfc -formatZK

11.启动hadoop

start-dfs.sh

12.验证hadoop正常启动

jps

13.测试功能是否可用

三个节点web页面如下，其中master为active,slave1与slave2为standby

查看master节点的namenode进程号，并杀死进程

kill -9 20254

此时，发现master节点web页面打不开了，slave1节点变为active状态，slave2依旧是standby

配置YARN-HA集群

集群规划如下：

master	slave1	slave2
ResourceManager	ResourceManager	ResourceManager
NodeManager	NodeManager	NodeManager
Zookeeper	Zookeeper	Zookeeper

配置文件修改

1.修改yarn-site.xml，mapred.xml配置文件

yarn-site.xml

yarn.nodemanager.aux-services

mapreduce_shuffle

yarn.resourcemanager.ha.enabled

true

yarn.resourcemanager.cluster-id

cluster-yarn

yarn.resourcemanager.ha.rm-ids

rm1,rm2,rm3

yarn.resourcemanager.hostname.rm1

master

yarn.resourcemanager.webapp.address.rm1

master:8088

yarn.resourcemanager.address.rm1

master:8032

yarn.resourcemanager.scheduler.address.rm1

master:8030

yarn.resourcemanager.resource-tracker.address.rm1

master:8031

yarn.resourcemanager.hostname.rm2

slave1

yarn.resourcemanager.webapp.address.rm2

slave1:8088

yarn.resourcemanager.address.rm2

slave1:8032

yarn.resourcemanager.scheduler.address.rm2

slave1:8030

yarn.resourcemanager.resource-tracker.address.rm2

slave1:8031

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上大数据知识点，真正体系化！

由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新

需要这份系统化资料的朋友，可以戳这里获取

address.rm2

slave1:8030

yarn.resourcemanager.resource-tracker.address.rm2

slave1:8031

[外链图片转存中…(img-e6LszB8r-1715049528779)]
[外链图片转存中…(img-Xk94Baep-1715049528779)]
[外链图片转存中…(img-F6q6N9Xl-1715049528780)]

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上大数据知识点，真正体系化！

由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新

需要这份系统化资料的朋友，可以戳这里获取