HadoopHA模式（由于Hadoop的HA模式是在Hadoop完全分布式基础上，利用zookeeper等协调工具配置的高可用的Hadoop集群模式(1)

最新推荐文章于 2024-05-14 16:01:06 发布
最新推荐文章于 2024-05-14 16:01:06 发布
阅读量730 收藏 17
点赞数 13
分类专栏： 2024年程序员学习 文章标签： 分布式 hadoop zookeeper
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/2401_84164576/article/details/137486759
版权

7.首次启动HDFS的HA模式，步骤如下

7.1.在虚拟机master上启动zookeeper集群

7.2.在虚拟机master上格式化zookeeper

7.3.分别在虚拟机master，slave1，slave2上启动journalnode进程

7.4.然后格式化

7.5.

start-all.sh报错

hadoop-daemon.sh start namenode单独启动master上的namenode

hdfs namenode -bootstrapStandby再在另外你要起的虚拟机上同步namenode

最后 start-all.sh

8.在Master节点上使用命令分别查看服务nn2与rm2进程状态

hdfs haadmin -getServiceState nn2

yarn rmadmin -getServiceState rm2

HadoopHA模式搭建规划
| 主机名 | IP地址 | 相关进程 |
| master | 根据自己的 | NameNode,DataNode, DFSZKFailoverController, QuorumPeerMain,JournalNode, ResourceManager,NodeMananger |
| slave1 | 根据自己的 | NameNode,DataNode, DFSZKFailoverController, QuorumPeerMain,JournalNode, ResourceManager,NodeMananger |
| slave2 | 根据自己的 | DataNode, NodeMananger, QuorumPeerMain, JournalNode |

1.前期准备

1.1.hadoop-3.1.3.tar.gz，jdk-8u212-linux-x64.tar.gz，apache-zookeeper-3.5.7-bin.tar.gz三个包提取码：k5y6

2.解压安装包，配置环境变量

tar -zxf  tar包  -C  指定目录

解压后

apache-zookeeper-3.5.7-bin名字好长不太习惯可以用mv改名

或者ln -s 软链接

vim /etc/profile配置环境变量，source /etc/profile使环境变量生效

验证

hadoop version

java -version

3. 将三个节点分别命名为master、slave1、slave2并做免密登录

修改主机名，断开重连

hostnamectl set-hostname 主机名

免密在前面Hadoop完全分布式搭建说过，这里不再赘述

4.搭建zookeeper集群

cd /opt/module/zookeeper/conf

cp zoo_sample.cfg zoo.cfg

编辑zoo.cfg新增下列配置

根据配置的路径新建zkdata，zkdatalog目录。然后到zkdata目录中可以touch新建一个文件myid，也可以直接echo写入为1，另外slave1，salve2分别对应2，3。

5.分发解压后的java，/etc/profile,zookeeper修改myid为2，3

scp -r /opt/module/jdk1.8.0_212/ slave1:/opt/module/

scp -r /opt/module/jdk1.8.0_212/ slave2:/opt/module/

scp /etc/profile slave1:/etc/profile
scp /etc/profile slave2:/etc/profile（不要忘记source）

scp -r /opt/module/zookeeper/ slave1:/opt/module/

scp -r /opt/module/zookeeper/ slave2:/opt/module/

6.启动zookeeper

zkServer.sh start

查看状态

zkServer.sh status

cd /opt/module/hadoop-3.1.3/etc/hadoop

vim core-site.xml

fs.defaultFS hdfs://cluster The name of the default file system. A URI whose scheme and authority determine the FileSystem implementation. The uri's scheme determines the config property (fs.SCHEME.impl) naming the FileSystem implementation class. The uri's authority is used to determine the host, port, etc. for a filesystem. hadoop.tmp.dir /opt/module/hadoop-3.1.3/tmpdir A base for other temporary directories. ha.zookeeper.quorum master:2181,slave1:2181,slave2:2181 A list of ZooKeeper server addresses, separated by commas, that are to be used by the ZKFailoverController in automatic failover.

vim hdfs-site.xml

dfs.replication 3 Default block replication. The actual number of replications can be specified when the file is created. The default is used if replication is not specified in create time. dfs.nameservices cluster Comma-separated list of nameservices. dfs.ha.namenodes.cluster nn1,nn2 The prefix for a given nameservice, contains a comma-separated list of namenodes for a given nameservice (eg EXAMPLENAMESERVICE).

Unique identifiers for each NameNode in the nameservice, delimited by
commas. This will be used by DataNodes to determine all the NameNodes
in the cluster. For example, if you used Ἶ@\myclusterἾ@] as
thh
e nameservice
ID previously, and you wanted to use Ἶ@\nn1Ἶ@] and Ἶ@~\nn22
Ἶ@@
~] as the individual
IDs of the NameNodes, you would configure a property
dfs.ha.namenodes.mycluster, and its value “nn1,nn2”.



dfs.namenode.rpc-address.cluster.nn1
master:8020

A comma separated list of auxiliary ports for the NameNode to listen on.
This allows exposing multiple NN addresses to clients.
Particularly, it is used to enforce different SASL levels on different ports.
Empty list indicates that auxiliary ports are disabled.



dfs.namenode.rpc-address.cluster.nn2
slave1:8020

A comma separated list of auxiliary ports for the NameNode to listen on.
This allows exposing multiple NN addresses to clients.
Particularly, it is used to enforce different SASL levels on different ports.
Empty list indicates that auxiliary ports are disabled.

自我介绍一下，小编13年上海交大毕业，曾经在小公司待过，也去过华为、OPPO等大厂，18年进入阿里一直到现在。

深知大多数大数据工程师，想要提升技能，往往是自己摸索成长或者是报班学习，但对于培训机构动则几千的学费，着实压力不小。自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！

因此收集整理了一份《2024年大数据全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友。
img
img
img
img
img

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，基本涵盖了95%以上大数据开发知识点，真正体系化！

由于文件比较大，这里只是将部分目录大纲截图出来，每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频，并且后续会持续更新

如果你觉得这些内容对你有帮助，可以添加VX：vip204888 （备注大数据获取）
img

2519153288)]
[外链图片转存中…(img-jL1KN0au-1712519153288)]
[外链图片转存中…(img-bxWIIOug-1712519153289)]

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，基本涵盖了95%以上大数据开发知识点，真正体系化！

由于文件比较大，这里只是将部分目录大纲截图出来，每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频，并且后续会持续更新

如果你觉得这些内容对你有帮助，可以添加VX：vip204888 （备注大数据获取）
[外链图片转存中…(img-7QxdCMWM-1712519153289)]

2401_84164576
关注
  • 13
    点赞
  • 踩
  • 17
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
HDFS：HA模式
程序猿启程
06-30 758
写的不到位的地方，欢迎评论指出不足之处 主从集群 ● 优点 ● 结构相对简单、主与从协作 ● 主：单点、数据一致好掌握 ● 缺点 ● 两个独立的问题 ● 问题一：单点故障、集群整体不可用 ● 主只有一个，当主出现故障后，从将不可用，导致整个集群无法工作 ...
HDFS之HA模式
Echo_dia的博客
04-16 3520
文章目录基本特点HDFS-HA解决方案选主Journal NodeFederation解决方案HA模式搭建 基本特点 主从集群结构相对简单，主与从协作 主：单点，数据一致好掌握 缺点：单点故障，集群整体不可用；压力过大，内存受限 解决方案： 单点故障： 高可用方案HA（High Available）： 多个NN，主备切换 —— 即当NameNode故障后，其备用的服务器会替换姑臧的服务器，作为主NameNode （HADOOP 2.x只支持HA的一主一备） 主压力过大，内存受限： 联邦机制Federa
HadoopHA模式（由于Hadoop的HA模式是在Hadoop完全分布式基础上，利用zookeeper等协调工具配置的高可用的Hadoop集群模式）_hadoop ha(1)
最新发布
2401_84185471的博客
05-14 398
报错了：看看是否是hdfs-site.xml里面写错了，果然namenode打成了namenodes,修改过来重启，成功了既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上大数据知识点，真正体系化！由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新需要这份系统化资料的朋友，可以戳这里获取[外链图片转存中…(img-WbNXB72b-1715673643592)]
HDFS-HA模式概念
qq_37163925的博客
04-17 3981
HDFS-HA模式概念什么是HDFS-HA？为什么要提出HDFS-HA机制？可能出现的问题及解决方案如何保证两台NameNode元数据的同步？使用ZKFC实现自动切换Active NameNodeZKFC的功能Active NameNode切换过程 什么是HDFS-HA？ 见名思义，HDFS-HA就是HDFS的高可用模式，其中HA的全称为High Avaliable，是为了解决单台NameNode...
Hadoop HA模式
weixin_46886475的博客
05-22 591
HDFS HA与YARN HA
HadoopHA模式（由于Hadoop的HA模式是在Hadoop完全分布式基础上，利用zookeeper等协调工具配置的高可用的Hadoop集群模式）
m0_74413382的博客
06-02 1713
vim /etc/profile配置环境变量，source /etc/profile使环境变量生效。apache-zookeeper-3.5.7-bin名字好长不太习惯可以用mv改名。tar -zxf tar包 -C 指定目录。或者ln -s 软链接。
9、hadoop高可用HA集群部署及三种方式验证
05-29
9、hadoop高可用HA集群部署及三种方式验证 网址：https://blog.csdn.net/chenwewi520feng/article/details/130344998 本文介绍hadoop HA环境部署。本文分为三部分，即HA集群规划、HA集群部署和HA集群验证 前提依赖：...
HadoopHA集群部署、ZooKeeper安装与配置教学课件.pptx
06-20
ZooKeeper安装与配置;基础环境配置;任务一 上传安装包到第1个Zookeeper节点并解压;任务二 编辑Zookeeper配置文件;任务三 创建zkdata和zkdatalog文件夹;任务四 设置Zookeeper节点对应...任务八 启动与验证Zookeeper集群
Hadoop HA高可用集群搭建（Hadoop+Zookeeper+HBase）
03-30
Hadoop HA高可用集群搭建（Hadoop+Zookeeper+HBase） 一、Hadoop HA高可用集群概述 在大数据处理中，高可用集群是非常重要的，Hadoop HA高可用集群可以提供高可靠性和高可用性，确保数据处理不中断。该集群由...
Hadoop高可用HA集群3.x以上版本安装.docx
08-07
Hadoop高可用集群安装，4节点；Hadoop完全分布式安装以及相关组件：zookeeper、Kafka、mysql、Hive、Spark等
基于zookeeper的hadoop ha集群安装过程
04-16
基础的基于zookeeper的hadoop ha集群安装过程，有详细的中文解释。
Hadoop-HA模式（详解）
热门推荐
窃格拉瓦
08-21 2万+
一、概述 之前的博客写了搭建hadoop集群环境，今天写一写搭建高可用（HA）环境。Hadoop-HA模式大致分为两个(个人在学习中的理解)： namenode 高可用 yarn 高可用 1、Namenode HA Namenode在HDFS中是一个非常重要的组件，相当于HDFS文件系统的心脏，在显示分布式集群环境中，还是会有可能出现Namenode的崩溃或各种意外。所以，高可用模...
【Hadoop】HA高可用搭建保姆级教程（大二学长的万字笔记）
你不来，再美的天地，都狼藉 ~
05-29 7647
Hadoop HA高可用搭建保姆级教程，来自正在学习大数据导论的大二学长的万字笔记，干得不能再干的干货分享！
hadoop高可用【HA】配置详解
大唐有趣的小胡.
07-31 3748
想实现 Hadoop 高可用就必须实现 NameNode 的高可用，NameNode 是HDFS的核心，HDFS 又是 Hadoop 核心组件，NameNode 在 Hadoop 集群中至关重要；NameNode 宕机，将导致集群不可用，如果NameNode数据丢失将导致整个集群的数据丢失，而 NameNode 的数据更新又比较频繁，实现 NameNode 高可用势在必行；...
hadoop+Zookeeper=HA(超级详细)
互联网知识分享
05-12 857
集群模式下配置一个文件myid，这个文件在dataDir=/softWare/zookeeper-3.4.10/zkData目录下，这个文件里面有一个数据就是A的值，Zookeeper启动时读取此文件，拿到里面的数据与zoo.cfg里面的配置信息比较从而判断到底是哪个server。（1）如果”主节点-A”挂了，这时候它所注册的节点”master-00001″将被自动删除，ZooKeeper会自动感知节点的变化，然后再次发出选举，这时候”主节点-B”将在选举中获胜，替代”主节点-A”成为新的主节点。
12）Hadoop之HDFS HA（高可用）
zy
09-25 359
HA概述： 所谓HA（High Available），即高可用（7*24小时服务不中断） 实现高可用最关键的策略是消除单点故障。HA严格来说应该分成各个组件的HA机制：HDFS的HA和YARN的HA。 Hadoop2.0之前，在HDFS集群中NameNode存在单点故障（SPOF）。 NameNode主要在以下两个方面影响HDFS集群： NameNode机器发生意外，如宕机，集群将无法使用，直...
hadoop——HA集群部署
m0_65809235的博客
06-28 1018
各节点布置NameNodeDataNodeNameNodeDataNode。
8.Hadoop的HA(高可用)模式集群搭建
weixin_52010459的博客
10-17 1664
详细说明Hadoop的HA模式搭建的过程，使用hadoop-3.1.3，jdk1.8.0_162
Hadoop HA平台搭建
jerryhuang12的博客
08-02 703
一、引言 （一）项目背景 随着大数据时代的来临，分布式文件系统因其极高的可靠性和性能以及可扩展性越来越受到人们的青睐。对于如今各社交网络、电子商务平台和音乐平台等娱乐平台融入人们的日常生活，而其日渐增长的注册用户以及庞大的数据量便需要依靠分布式文件系统来进行处理。作为大数据平台Hadoop平台的存储核心，HDFS逐渐成为了一个用来进行数据处理的标准，但整个集群只有一个Namenode，若这一个Namenode损坏，则整个Hadoop集群将不可以使用，此时Hadoop的高可用性显得尤为重要。在Hadoop
hadoop高可用集群配置
11-12
以下是hadoop高可用集群配置的步骤： 1. 配置hadoop集群的core-site.xml文件，增加如下配置： ```xml <property> <name>fs.defaultFS</name> <value>hdfs://mycluster</value> </property> <property> <name>ha.zookeeper.quorum</name> <value>zk1:2181,zk2:2181,zk3:2181</value> </property> ``` 2. 配置hadoop集群的hdfs-site.xml文件，增加如下配置： ```xml <property> <name>dfs.nameservices</name> <value>mycluster</value> </property> <property> <name>dfs.ha.namenodes.mycluster</name> <value>nn1,nn2</value> </property> <property> <name>dfs.namenode.rpc-address.mycluster.nn1</name> <value>node1:8020</value> </property> <property> <name>dfs.namenode.rpc-address.mycluster.nn2</name> <value>node2:8020</value> </property> <property> <name>dfs.namenode.http-address.mycluster.nn1</name> <value>node1:50070</value> </property> <property> <name>dfs.namenode.http-address.mycluster.nn2</name> <value>node2:50070</value> </property> <property> <name>dfs.namenode.shared.edits.dir</name> <value>qjournal://node1:8485;node2:8485;node3:8485/mycluster</value> </property> <property> <name>dfs.journalnode.edits.dir</name> <value>/data/journal</value> </property> <property> <name>dfs.ha.fencing.methods</name> <value>sshfence</value> </property> <property> <name>dfs.ha.fencing.ssh.private-key-files</name> <value>/home/hadoop/.ssh/id_rsa</value> </property> <property> <name>dfs.ha.automatic-failover.enabled</name> <value>true</value> </property> ``` 3. 配置hadoop集群的mapred-site.xml文件，增加如下配置： ```xml <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property> ``` 4. 配置hadoop集群的yarn-site.xml文件，增加如下配置： ```xml <property> <name>yarn.resourcemanager.ha.enabled</name> <value>true</value> </property> <property> <name>yarn.resourcemanager.cluster-id</name> <value>mycluster</value> </property> <property> <name>yarn.resourcemanager.ha.rm-ids</name> <value>rm1,rm2</value> </property> <property> <name>yarn.resourcemanager.hostname.rm1</name> <value>node1</value> </property> <property> <name>yarn.resourcemanager.hostname.rm2</name> <value>node2</value> </property> <property> <name>yarn.resourcemanager.webapp.address.rm1</name> <value>node1:8088</value> </property> <property> <name>yarn.resourcemanager.webapp.address.rm2</name> <value>node2:8088</value> </property> <property> <name>yarn.resourcemanager.zk-address</name> <value>zk1:2181,zk2:2181,zk3:2181</value> </property> ``` 5. 配置zookeeper集群的zoo.cfg文件，增加如下配置： ```cfg server.1=node1:2888:3888 server.2=node2:2888:3888 server.3=node3:2888:3888 ``` 6. 在每个节点上创建一个myid文件，文件内容为该节点在zookeeper集群中的编号，例如在node1上创建myid文件，文件内容为1。 7. 启动zookeeper集群。 8. 在hadoop集群的每个节点上启动journalnode： ```bash hadoop-daemon.sh start journalnode ``` 9. 在namenode1上格式化hdfs： ```bash hdfs namenode -format ``` 10. 在namenode1上启动hdfs： ```bash start-dfs.sh ``` 11. 在namenode1上启动yarn： ```bash start-yarn.sh ``` 12. 在namenode1上启动自动故障转移： ```bash hdfs haadmin -transitionToActive nn1 ``` 13. 在namenode2上启动hdfs： ```bash start-dfs.sh ``` 14. 在namenode2上启动yarn： ```bash start-yarn.sh ``` 15. 在namenode2上启动自动故障转移： ```bash hdfs haadmin -transitionToStandby nn2 ``` 16. 测试hadoop高可用集群是否正常工作。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值