最新Hadoop HA搭建，2024年最新大数据开发虚拟机原理深入解析

最新推荐文章于 2024-05-31 14:54:28 发布
最新推荐文章于 2024-05-31 14:54:28 发布
阅读量539 收藏 17
点赞数 30
分类专栏： 程序员 文章标签： 大数据 面试 学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/2401_84160361/article/details/138755010
版权

img
img

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化资料的朋友，可以戳这里获取

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！


       ha.zookeeper.quorum
       zzy01:2181,zzy02:2181,zzy03:2181
   
   
   
       ha.zookeeper.session-timeout.ms
       30000
       ms
   
   
   
       fs.trash.interval
       1440
   



###### 3、 配置hdfs-site.xml （zzy01,zzy02,zzy03）

vim /opt/hadoop/server/hadoop-3.2.4/etc/hadoop/hdfs-site.xml


* 添加如下配置：
               dfs.qjournal.start-segment.timeout.ms        60000                    dfs.nameservices        mycluster                    dfs.ha.namenodes.mycluster        zzy01,zzy02                    dfs.namenode.rpc-address.mycluster.zzy01        zzy01:8020                    dfs.namenode.rpc-address.mycluster.zzy02        zzy02:8020                    dfs.namenode.http-address.mycluster.zzy01        zzy01:9870                    dfs.namenode.http-address.mycluster.zzy02        zzy02:9870                    dfs.namenode.shared.edits.dir        qjournal://zzy01:8485;zzy02:8485;zzy03:8485/mycluster                    dfs.client.failover.proxy.provider.mycluster        org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider                    dfs.ha.fencing.methods                   sshfence           shell(/bin/true)                        dfs.permissions.enabled        false                dfs.support.append        true                    dfs.ha.fencing.ssh.private-key-files        /root/.ssh/id_rsa                        dfs.namenode.name.dir        /opt/hadoop/data/tmp/name                dfs.datanode.data.dir        /opt/hadoop/data/tmp/data                    dfs.journalnode.edits.dir        /opt/hadoop/data/tmp/journal                    dfs.ha.automatic-failover.enabled        true                    dfs.webhdfs.enabled        true                    dfs.ha.fencing.ssh.connect-timeout        30000                ha.failover-controller.cli-check.rpc-timeout.ms        60000     ```
4、 配置mapred-site.xml

不需要变更

5、 配置yarn-site.xml （zzy01,zzy02,zzy03）
vim /opt/hadoop/server/hadoop-3.2.4/etc/hadoop/yarn-site.xml
  • 添加如下配置：
<configuration>
    <!-- Site specific YARN configuration properties -->
    <!-- 开启 RM 高可用 -->
    <property>
        <name>yarn.resourcemanager.ha.enabled</name>
        <value>true</value>
    </property>
    <!-- 指定 RM 的 cluster id -->
    <property>
        <name>yarn.resourcemanager.cluster-id</name>
        <value>yrc</value>
    </property>
    <!-- 指定 RM 的名字 -->
    <property>
        <name>yarn.resourcemanager.ha.rm-ids</name>
        <value>rm1,rm2</value>
    </property>
    <!-- 分别指定 RM 的地址 -->
    <property>
        <name>yarn.resourcemanager.hostname.rm1</name>
        <value>zzy01</value>
    </property>
    <property>
        <name>yarn.resourcemanager.hostname.rm2</name>
        <value>zzy02</value>
    </property>
    <!--在namenode1上配置rm1,在namenode2上配置rm2,注意：一般都喜欢把配置好的文件远程复制到其它机器上，但这个在YARN的另一个机器上一定要修改 -->
    <property>
        <name>yarn.resourcemanager.ha.id</name>
        <value>rm1</value>
    </property>
    <property>
        <name>yarn.resourcemanager.webapp.address.rm1</name>
        <value>zzy01:8088</value>
    </property>
    <property>
        <name>yarn.resourcemanager.address.rm1</name>
        <value>zzy01:8032</value>
    </property>
    <property>
        <name>yarn.resourcemanager.scheduler.address.rm1</name>
        <value>zzy01:8030</value>
    </property>
    <property>
        <name>yarn.resourcemanager.resource-tracker.address.rm1</name>
        <value>zzy01:8031</value>
    </property>
    <property>
        <name>yarn.resourcemanager.webapp.address.rm2</name>
        <value>zzy02:8088</value>
    </property>
    <property>
        <name>yarn.resourcemanager.address.rm2</name>
        <value>zzy02:8032</value>
    </property>
    <property>
        <name>yarn.resourcemanager.scheduler.address.rm2</name>
        <value>zzy02:8030</value>
    </property>
    <property>
        <name>yarn.resourcemanager.resource-tracker.address.rm2</name>
        <value>zzy02:8031</value>
    </property>
    <!-- 指定 zk 集群地址 -->
    <property>
        <name>yarn.resourcemanager.zk-address</name>
        <value>zzy01:2181,zzy02:2181,zzy03:2181</value>
    </property>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    <property>
        <name>yarn.log-aggregation-enable</name>
        <value>true</value>
    </property>
    <property>
        <name>yarn.log-aggregation.retain-seconds</name>
        <value>604800</value>
    </property>
    <!-- 启用自动恢复 -->
    <property>
        <name>yarn.resourcemanager.recovery.enabled</name>
        <value>true</value>
    </property>
    <!-- 制定 resourcemanager 的状态信息存储在 zookeeper 集群上 -->
    <property>
        <name>yarn.resourcemanager.store.class</name>
        <value>org.apache.hadoop.yarn.server.resourcemanager.recovery.ZKRMStateStore</value>
    </property>
    <!-- 白名单
    <property>
        <name>yarn.nodemanager.env-whitelist</name>
        <value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN
_HOME,HADOOP_MAPRED_HOME</value>
    </property>  -->
    <property>
        <name>yarn.log.server.url</name>
        <value>http://zzy01:19888/jobhistory/logs</value>
    </property>
    <property>
        <name>yarn.nodemanager.pmem-check-enabled</name>
        <value>false</value>
    </property>
    <property>
        <name>yarn.nodemanager.vmem-check-enabled</name>
        <value>false</value>
    </property>
    <property>
        <name>yarn.application.classpath</name>
        <value>/opt/hadoop/server/hadoop-3.2.4/etc/hadoop:/opt/hadoop/server/hadoop-3.2.4/share/hadoop/common/lib/*:/opt/hadoop/server/hadoop-3.2.4/share/hadoop/common/*:/opt/hadoop/server/hadoop-3.2.4/share/hadoop/hdfs:/opt/hadoop/server/hadoop-3.2.4/share/hadoop/hdfs/lib/*:/opt/hadoop/server/hadoop-3.2.4/share/hadoop/hdfs/*:/opt/hadoop/server/hadoop-3.2.4/share/hadoop/mapreduce/lib/*:/opt/hadoop/server/hadoop-3.2.4/share/hadoop/mapreduce/*:/opt/hadoop/server/hadoop-3.2.4/share/hadoop/yarn:/opt/hadoop/server/hadoop-3.2.4/share/hadoop/yarn/lib/*:/opt/hadoop/server/hadoop-3.2.4/share/hadoop/yarn/*</value>
    </property>
    <property>
        <name>yarn.scheduler.maximum-allocation-vcores</name>
        <value>6</value>
    </property>
    <property>
        <name>yarn.scheduler.capacity.maximum-am-resource-percent</name>
        <value>0.6</value>
    </property>
</configuration>
6、 创建tmp , logs, tmp/下创建name,data,journal目录 （zzy01,zzy02,zzy03）
mkdir /opt/hadoop/data/tmp/name
mkdir /opt/hadoop/data/tmp/data
mkdir /opt/hadoop/data/tmp/journal
三、启动集群(HA)
1、启动zookeeper集群并查看状态 （zzy01,zzy02,zzy03）
# 进入到每个DN节点，启动ZK服务
/opt/zookeeper-3.9.1/bin/zkServer.sh start
# 查看ZK状态
/opt/zookeeper-3.9.1/bin/zkServer.sh status
# 本次我们配置了三个DN节点，会出现一个leader和两个follower。输入jps，会显示启动进程：QuorumPeerMain
2、启动全部机器的 journalnode 服务 （zzy01,zzy02,zzy03）

进入/opt/hadoop/server/hadoop-3.2.4/安装目录下

[root@zzy01 bin]# cd /opt/hadoop/server/hadoop-3.2.4
[root@zzy01 hadoop-3.2.4]# ./sbin/hadoop-daemon.sh start journalnode
starting journalnode, logging to /opt/hadoop/server/hadoop-3.2.4/logs/hadoop-root-journalnode-zzy01.out
​
[root@zzy02 zookeeper]# cd /opt/hadoop/server/hadoop-3.2.4/
[root@zzy02 hadoop-3.2.4]# ./sbin/hadoop-daemon.sh start journalnode
starting journalnode, logging to /opt/hadoop/server/hadoop-3.2.4/logs/hadoop-root-journalnode-zzy02.out
​
[root@zzy03 zookeeper]# cd /opt/hadoop/server/hadoop-3.2.4/
[root@zzy03 hadoop-3.2.4]# ./sbin/hadoop-daemon.sh start journalnode
starting journalnode, logging to /opt/hadoop/server/hadoop-3.2.4/logs/hadoop-root-journalnode-zzy03.out
​
# 输入jps显示启动进程：JournalNode。


![img](https://img-blog.csdnimg.cn/img_convert/b3dff24c54140e1268ab39d4ee2c1d97.png)
![img](https://img-blog.csdnimg.cn/img_convert/7f7facb18cda7b4f32c7a437e104b8bc.png)

**网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。**

**[需要这份系统化资料的朋友，可以戳这里获取](https://bbs.csdn.net/forums/4f45ff00ff254613a03fab5e56a57acb)**


**一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！**


[外链图片转存中...(img-bmk3IckJ-1715495206814)]
[外链图片转存中...(img-SsUwN2Xv-1715495206814)]

**网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。**

**[需要这份系统化资料的朋友，可以戳这里获取](https://bbs.csdn.net/forums/4f45ff00ff254613a03fab5e56a57acb)**


**一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！**
2401_84160361
关注
  • 30
    点赞
  • 踩
  • 17
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
大数据开发·关于虚拟机Hadoop完全分布式集群搭建教程
qq_52833759的博客
01-08 2981
大数据开发·关于虚拟机Hadoop完全分布式集群搭建教程 一、搭建准备； 二、环境搭建； 三、群起集群；
大数据平台搭建（二）：hadoop HA 集群搭建
守得云开见月明
04-11 2702
前言      本章搭建zookeeper集群和hadoop集群 1.hadoop版本的选择     1.目前而言，不收费的Hadoop版本主要有三个（均是国外厂商），分别是：Apache（最原始的版本，所有发行版均基于这个版本进行改进）、Cloudera版本（Cloudera’s Distribution Including Apache Hadoop，简称CDH）、Hor...
2024年用虚拟机Centos7搭建Hadoop集群，2024年最新2024年网易大数据开发岗面试必问
2401_84591619的博客
05-10 906
还需要在hadoop103上采用atguigu账号配置一下无密登录到hadoop102、hadoop103、hadoop104服务器上。还需要在hadoop104上采用atguigu账号配置一下无密登录到hadoop102、hadoop103、hadoop104服务器上。Enter file in which to save the key (/home/luoyong/.ssh/id_rsa): 回车。**）scp****（secure copy****）安全拷贝**同步环境变量配置（root所有者）
大数据基础——Hadoop大数据平台搭建
weixin_52610848的博客
01-27 6121
文章目录前言Hadoop大数据平台搭建一．Hadoop原理和功能介绍二．Hadoop安装部署三．Hadoop常用操作总结 此文章摘自充电了么创始人，CEO兼CTO陈敬雷先生的新书《分布式机器学习实战》（人工智能科学与技术丛书）。更多内容请关注充电了么APP，更多实用技能和理论知识都可以在这里找到！
Hadoop大数据集群搭建（超详细）
热门推荐
小飞飞V5的博客
05-21 3万+
本文主要介绍了Hadoop集群的搭建过程，图文详细，适合新手入门
大数据系统开发综合实验（一）Hadoop集群搭建
qq_60928990的博客
03-01 2284
Linux版本：CentOS 6.7 Java版本：1.8 Hadoop版本：2.7.4 Hive版本：1.2.1 MySQL版本：5.7.25 Sqoop版本：1.4.6 Tomcat版本：7.0.47
大数据最全Hadoop集群搭建(1)，2024年最新大数据开发开发技巧
2301_79097795的博客
05-07 862
/再输入以下命令再输入以下命令，做就完了scp -r ~/.ssh root@node1:~/ //这的node1是我的克隆虚拟机的主机名，换成自己的免密登录验证ssh node1成功！
2024年大数据最新搭建Hadoop3(1)，源码解析
2301_79097795的博客
05-14 721
在集群环境中，主节点需要频繁的访问从节点，以获取从节点的运行状态，主节点每次访问从节点时都需要通过输入密码的方式进行验证，确定密码输入正确后才建立连接，这会对集群运行的连续性造成不良影响，为主节点配置SSH免密登录功能，可以有效避免访问从节点时频繁输入密码。将虚拟机hadoop1生成的公钥文件复制到集群中相关联的所有虚拟机，实现通过虚拟机hadoop1可以免密登录虚拟机hadoop1、hdp3-2和hdp3-3。在虚拟机hadoop1主机执行如下命令，拷贝配置到hadoop2, hadoop3。
Hadoop大数据平台搭建（超详细步骤）
宥思的博客
09-09 9392
Hadoop大数据平台搭建
大数据集群虚拟机-环境搭建-导入vmware直接使用
03-18
1、三个节点，含多种环境快照 2、环境包含Hadoop、Hive、Zookeeper、Spark、Kafka、Hbase、ES、scala、jdk、mysql 3、最大资源占用：6核cpu、7G内存、90G磁盘容量
Hadoop大数据开发基础.rar
10-14
文档为PPT，与百度文库里的Hadoop大数据开发基础为一套，里面内容相对比较基础~可做基础学习资料PPT。 【实例截图】 【核心代码】 Hadoop大数据开发基础-PPT课件 └── 37066-Hadoop大数据开发基础-PPT课件 ├── ...
大数据克隆虚拟机配置hadoop.doc
05-24
虚拟机克隆配置教程，克隆后需要配置虚拟机的信息，比如ip地址等，此文档自己试过记下了步骤，一步一步跟着做就行
《Hadoop大数据开发实战》教学教案—01初识Hadoop.pdf
07-07
《Hadoop大数据开发实战》教学教案—01初识Hadoop.pdf《Hadoop大数据开发实战》教学教案—01初识Hadoop.pdf《Hadoop大数据开发实战》教学教案—01初识Hadoop.pdf《Hadoop大数据开发实战》教学教案—01初识Hadoop.pdf...
Linux下的JDK1.8.0用于目的是安装Hadoop大数据平台虚拟机安装Java
09-17
需要在Linux服务器上配置JDK的Java开发人员。 【包含内容】 JDK 8u191完整安装包,包括JRE,JVM,Java编译器等组件。 【功能特点】 - JDK 8u191,目前常用稳定版本 - 64位Linux版本,兼容主流distribution - 包含所有开发...
处理大数据的关键技术？
喜欢猪猪
05-30 1083
处理大数据涉及多种技术和工具，这些技术和工具各有其专长，能够解决大数据处理中的不同问题。
Flink CDC - Postgres
麦田里的守望者-蒋中洲【相信相信的力量】
05-28 280
此处生成postgresql实例，账户postgres/pass123,通过IDEA创建Datasource数据源查看postgress的版本信息。2）开启Postgress wal日志。1）部署安装Postgres服务。3）开启Flink建表映射。
深入解析CRM客户关系系统：技术架构与功能实现的融合创新
最新发布
m0_65038841的博客
05-31 448
通过以上技术架构和功能实现，CRM客户关系管理系统能够帮助企业实现客户信息的集中管理、销售过程的自动化、营销活动的精准投放以及客户服务的提升，从而提高企业的市场竞争力和客户满意度。容器化与微服务：采用Docker和Kubernetes等技术，实现系统的容器化和微服务架构，提高系统可扩展性和部署灵活性。营销活动管理：创建、发布和管理各种营销活动，如优惠券、促销活动和线上线下活动等，支持活动效果分析。客户信息管理：实现对客户基本信息的录入、查询、修改和删除功能，支持多维度客户细分和标签管理。
ElasticSearch(es)使用游标读取全部数据
weixin_45947759的博客
05-31 296
【代码】ElasticSearch(es)使用游标读取全部数据。
hadoopHA搭建
10-01
hadoopHA搭建分为三个步骤。首先，需要在`hadoop-2.6.0-cdh5.14.0/etc/hadoop`目录下修改`hdfs-site.xml`文件，将`fs.defaultFS`的值设置为`hdfs://cluster1`，将`hadoop.tmp.dir`的值设置为`/export/servers/hadoop...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值