Hadoop HA搭建，2024年最新史上超级详细

最新推荐文章于 2024-04-18 16:47:41 发布

2301_78399616

最新推荐文章于 2024-04-18 16:47:41 发布

阅读量889

点赞数 8

分类专栏： 2024年程序员学习文章标签： hadoop 大数据分布式

本文链接：https://blog.csdn.net/2301_78399616/article/details/137486706

版权

2024年程序员学习专栏收录该内容

113 篇文章 0 订阅

订阅专栏

| — | — | — | — | — | — |
| 1 | zzy01 | 主节点 | root | 123456 | 192.168.6.129 |
| 2 | zzy02 | 从节点 | root | 123456 | 192.168.6.130 |
| 3 | zzy03 | 从节点 | root | 123456 | 192.168.6.131 |

一、配置JDK

解压 JDK 安装包到“/opt”路径，并配置环境变量 (之前已经配置完成，本次只卸载自带jdk)

1、关闭防火墙和关闭防火墙自启

[root@localhost ~]# systemctl stop firewalld
[root@localhost ~]# systemctl disable firewalld

三台机器全部都要关闭防火墙和自启

2、卸载自带的jdk

[root@localhost ~]# rpm -qa | grep jdk
java-1.8.0-openjdk-1.8.0.131-11.b12.el7.x86_64
java-1.7.0-openjdk-1.7.0.141-2.6.10.5.el7.x86_64
copy-jdk-configs-2.2-3.el7.noarch
java-1.7.0-openjdk-headless-1.7.0.141-2.6.10.5.el7.x86_64
java-1.8.0-openjdk-headless-1.8.0.131-11.b12.el7.x86_64
[root@localhost ~]# rpm -e --nodeps java-1.7.0-openjdk
[root@localhost ~]# rpm -e --nodeps java-1.7.0-openjdk-headless
[root@localhost ~]# rpm -e --nodeps java-1.8.0-openjdk
[root@localhost ~]# rpm -e --nodeps java-1.8.0-openjdk-headless

二、文件配置

1、配置hadoop-env.sh（zzy01,zzy02,zzy03）

设置用户以执行对应角色 shell 命令

export HDFS_ZKFC_USER=root
export HDFS_JOURNALNODE_USER=root
export HDFS_NAMENODE_USER=root
export HDFS_DATANODE_USER=root

export HDFS_SECONDARYNAMENODE_USER=root

export HDFS_DATANODE_SECURE_USER=root

export YARN_RESOURCEMANAGER_USER=root
export YARN_NODEMANAGER_USER=root
export HADOOP_PID_DIR=/root/data/hadoop_pid_dir

2、配置core-site.xml （zzy01,zzy02,zzy03）

vim /opt/hadoop/server/hadoop-3.2.4/etc/hadoop/core-site.xml

添加如下配置：

fs.defaultFS hdfs://mycluster ha.zookeeper.quorum zzy01:2181,zzy02:2181,zzy03:2181 ha.zookeeper.session-timeout.ms 30000 ms fs.trash.interval 1440

3、配置hdfs-site.xml （zzy01,zzy02,zzy03）

vim /opt/hadoop/server/hadoop-3.2.4/etc/hadoop/hdfs-site.xml

添加如下配置：

dfs.qjournal.start-segment.timeout.ms 60000 dfs.nameservices mycluster dfs.ha.namenodes.mycluster zzy01,zzy02 dfs.namenode.rpc-address.mycluster.zzy01 zzy01:8020 dfs.namenode.rpc-address.mycluster.zzy02 zzy02:8020 dfs.namenode.http-address.mycluster.zzy01 zzy01:9870 dfs.namenode.http-address.mycluster.zzy02 zzy02:9870 dfs.namenode.shared.edits.dir qjournal://zzy01:8485;zzy02:8485;zzy03:8485/mycluster dfs.client.failover.proxy.provider.mycluster org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider dfs.ha.fencing.methods sshfence shell(/bin/true) dfs.permissions.enabled false dfs.support.append true dfs.ha.fencing.ssh.private-key-files /root/.ssh/id_rsa dfs.namenode.name.dir /opt/hadoop/data/tmp/name dfs.datanode.data.dir /opt/hadoop/data/tmp/data dfs.journalnode.edits.dir /opt/hadoop/data/tmp/journal dfs.ha.automatic-failover.enabled true dfs.webhdfs.enabled true dfs.ha.fencing.ssh.connect-timeout 30000 ha.failover-controller.cli-check.rpc-timeout.ms 60000

4、配置mapred-site.xml

不需要变更

5、配置yarn-site.xml （zzy01,zzy02,zzy03）

vim /opt/hadoop/server/hadoop-3.2.4/etc/hadoop/yarn-site.xml

添加如下配置：

yarn.resourcemanager.ha.enabled true yarn.resourcemanager.cluster-id yrc yarn.resourcemanager.ha.rm-ids rm1,rm2 yarn.resourcemanager.hostname.rm1 zzy01 yarn.resourcemanager.hostname.rm2 zzy02 yarn.resourcemanager.ha.id rm1 yarn.resourcemanager.webapp.address.rm1 zzy01:8088 yarn.resourcemanager.address.rm1 zzy01:8032

自我介绍一下，小编13年上海交大毕业，曾经在小公司待过，也去过华为、OPPO等大厂，18年进入阿里一直到现在。

深知大多数大数据工程师，想要提升技能，往往是自己摸索成长或者是报班学习，但对于培训机构动则几千的学费，着实压力不小。自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！

因此收集整理了一份《2024年大数据全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友。