大数据hadoop3.1.3——Hadoop HA高可用学习笔记（安装与配置）

最新推荐文章于 2024-05-02 20:57:24 发布
最新推荐文章于 2024-05-02 20:57:24 发布
阅读量1.9k 收藏 27
点赞数 1
分类专栏： Hadoop
caron
本文链接：https://blog.csdn.net/qq_42502354/article/details/105980277
版权

一、HA概述

1）所谓HA（High Availablity），即高可用（7*24小时不中断服务）。

2）实现高可用最关键的策略是消除单点故障。HA严格来说应该分成各个组件的HA机制：HDFS的HA和YARN的HA。

3）Hadoop2.0之前，在HDFS集群中NameNode存在单点故障SPOF（Single Points Of Failure）。

4）NameNode主要在以下两个方面影响HDFS集群

   NameNode机器发生意外，如宕机，集群将无法使用，直到管理员重启

   NameNode机器需要升级，包括软件、硬件升级，此时集群也将无法使用

HDFS HA功能通过配置Active/Standby两个NameNodes实现在集群中对NameNode的热备来解决上述问题。如果出现故障，如机器崩溃或机器需要升级维护，这时可通过此种方式将NameNode很快的切换到另外一台机器。

1、HDFS-HA工作机制

通过多NameNode消除单点故障

二、手动故障转移

1、HDFS-HA手动故障转移

（1）元数据管理方式需要改变

内存中各自保存一份元数据；
Edits日志只有Active状态的NameNode节点可以做写操作；
两个NameNode都可以读取Edits；
共享的Edits放在一个共享存储中管理（qjournal和NFS两个主流实现）

（2）必须保证多NameNode之间能够ssh无密码登录

（3）隔离（Fence），即同一时刻仅仅有一个NameNode对外提供服务

2、配置HDFS-HA集群

1.在opt目录下创建一个ha文件夹

 mkdir ha

2.将/opt/module/下的 hadoop-3.1.3拷贝到/opt/ha目录下

 cp -r hadoop-3.1.3 ha

3.配置core-site.xml

<configuration>
  <!-- 把多个NameNode的地址组装成一个集群mycluster  -->
   <property>
      <name>fs.defaultFS</name>
     <value>hdfs://mycluster</value>
   </property>    
<!--  指定hadoop运行时产生文件的存储目录  -->
   <property>
      <name>hadoop.tmp.dir</name>
      <value>/opt/module/ha/hadoop-3.1.3/data/tmp</value>
   </property>
<!-- 声明journalnode服务器存储目录-->
   <property>
      <name>dfs.journalnode.edits.dir</name>
      <value>file://${hadoop.tmp.dir}/jn</value>
   </property>
</configuration>

4.配置hdfs-site.xml

<configuration>
<!-- 完全分布式集群名称 -->
<property>
   <name>dfs.nameservices</name>
   <value>mycluster</value>
</property>
<!-- NameNode数据存储目录 -->
<property>
   <name>dfs.namenode.name.dir</name>
   <value>file://${hadoop.tmp.dir}/name</value>
</property>
<!-- DataNode数据存储目录  -->
<property>
   <name>dfs.datanode.data.dir</name>
   <value>file://${hadoop.tmp.dir}/data</value>
</property>
  <!--集群中NameNode节点都有哪些 -->
<property>
   <name>dfs.ha.namenodes.mycluster</name>
   <value>nn1,nn2,nn3</value>
</property>
 <!--nn1的RPC通信地址 -->
<property>
   <name>dfs.namenode.rpc-address.mycluster.nn1</name>
   <value>hadoop101:9000</value>
</property>
<!--nn2的RPC通信地址 -->
<property>
   <name>dfs.namenode.rpc-address.mycluster.nn2</name>
   <value>hadoop102:9000</value>
</property>
<!-- nn3的RPC通信地址 -->
<property>
   <name>dfs.namenode.rpc-address.mycluster.nn3</name>
   <value>hadoop103:9000</value>
</property>  
<!--nn1的http通信地址 -->
<property>
   <name>dfs.namenode.http-address.mycluster.nn1</name>
   <value>hadoop101:9870</value>
</property>   
<!--nn2的http通信地址-->
<property>
   <name>dfs.namenode.http-address.mycluster.nn2</name>
   <value>hadoop102:9870</value>
</property>
<!--  nn3的http通信地址  -->
<property>
   <name>dfs.namenode.http-address.mycluster.nn3</name>
   <value>hadoop103:9870</value>
</property>   
<!-- 指定NameNode元数据在JournalNode上的存放位置 -->
<property>
   <name>dfs.namenode.shared.edits.dir</name>
   <value>qjournal://hadoop101:8485;hadoop102:8485;hadoop103:8485/mycluster</value>
</property>
<!-- 配置隔离机制，即同一时刻只能有一台服务器对外响应 -->
<property>
   <name>dfs.ha.fencing.methods</name>
   <value>sshfence</value>
</property>   
<!--使用隔离机制时需要ssh无秘钥登录-->
<property>
   <name>dfs.ha.fencing.ssh.private-key-files</name>
   <value>/home/caron/.ssh/id_rsa</value>
</property>   
<!-- 访问代理类：client用于确定哪个NameNode为Active  -->
<property>
      <name>dfs.client.failover.proxy.provider.mycluster</name>
      <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
</property>
</configuration>

5.拷贝配置好的hadoop环境到其他节点

将ha分发到其他节点

3、启动HDFS-HA集群

0.修改HADOOP的环境变量 ，指向HA的集群

sudo vim /etc/profile.d/my_env.sh
 HADOOP_HOME=/opt/module/ha/hadoop-3.1.3

注意：更改以后重启虚拟机

  1. 在各个JournalNode节点上，输入以下命令启动journalnode服务

先删除hadoop101 hadoop102 hadoop103 机器中的/tmp目录下的内容

 hdfs --daemon start journalnode
  1. 在[nn1]上，对其进行格式化，并启动
 hdfs namenode -format

 hdfs --daemon start namenode
  1. 在[nn2]和[nn3]上，同步nn1的元数据信息
 hdfs namenode -bootstrapStandby
  1. 启动[nn2] 和 [nn3]
 hdfs --daemon start namenode

  1. 查看web页面显示，101 102 103 都为standby状态

  2. 启动所有datanode

 hdfs --daemon start datanode
  1. 将[nn1]切换为Active
 hdfs haadmin -transitionToActive nn1
  1. 是否Active
 hdfs haadmin -getServiceState nn1
  1. kill掉Active的NameNode，进行手动故障转移

三、自动故障转移

1、工作要点

前面学习了使用命令hdfs haadmin手动进行故障转移，在该模式下，即使现役NameNode已经失效，系统也不会自动从现役NameNode转移到待机NameNode，下面学习如何配置部署HA自动进行故障转移。自动故障转移为HDFS部署增加了两个新组件：ZooKeeper和ZKFailoverController（ZKFC）进程。ZooKeeper是维护少量协调数据，通知客户端这些数据的改变和监视客户端故障的高可用服务。HA的自动故障转移依赖于ZooKeeper的以下功能：

1）故障检测：集群中的每个NameNode在ZooKeeper中维护了一个持久会话，如果机器崩溃，ZooKeeper中的会话将终止，ZooKeeper通知另一个NameNode需要触发故障转移。

2）现役NameNode选择：ZooKeeper提供了一个简单的机制用于唯一的选择一个节点为active状态。如果目前现役NameNode崩溃，另一个节点可能从ZooKeeper获得特殊的排外锁以表明它应该成为现役NameNode。

ZKFC是自动故障转移中的另一个新组件，是ZooKeeper的客户端，也监视和管理NameNode的状态。每个运行NameNode的主机也运行了一个ZKFC进程，ZKFC负责：

1）健康监测：ZKFC使用一个健康检查命令定期地ping与之在相同主机的NameNode，只要该NameNode及时地回复健康状态，ZKFC认为该节点是健康的。如果该节点崩溃，冻结或进入不健康状态，健康监测器标识该节点为非健康的。

2）ZooKeeper会话管理：当本地NameNode是健康的，ZKFC保持一个在ZooKeeper中打开的会话。如果本地NameNode处于active状态，ZKFC也保持一个特殊的znode锁，该锁使用了ZooKeeper对短暂节点的支持，如果会话终止，锁节点将自动删除。

3）基于ZooKeeper的选择：如果本地NameNode是健康的，且ZKFC发现没有其它的节点当前持有znode锁，它将为自己获取该锁。如果成功，则它已经赢得了选择，并负责运行故障转移进程以使它的本地NameNode为Active。故障转移进程与前面描述的手动故障转移相似，首先如果必要保护之前的现役NameNode，然后本地NameNode转换为Active状态。
故障转移机制
在这里插入图片描述
2、规划集群
在这里插入图片描述
3、配置Zookeeper集群

  1. 集群规划
    在hadoop101、hadoop102和hadoop103三个节点上部署Zookeeper。

  2. 解压安装

（1）解压Zookeeper安装包到/opt/module/目录下

 tar -zxvf zookeeper-3.5.7.tar.gz -C /opt/module/

（2）在/opt/module/zookeeper-3.5.7/这个目录下创建zkData

 mkdir -p zkData

（3）重命名/opt/module/zookeeper-3.5.7/conf这个目录下的zoo_sample.cfg为zoo.cfg

mv zoo_sample.cfg zoo.cfg

  1. 配置zoo.cfg文件

    （1）具体配置

 dataDir=/opt/module/zookeeper-3.5.7/zkData

增加如下配置

 #######################cluster##########################
 server.1=hadoop101:2888:3888
 server.2=hadoop102:2888:3888
 server.3=hadoop103:2888:3888

（2）配置参数解读

Server.A=B:C:D。

A是一个数字，表示这个是第几号服务器；
B是这个服务器的IP地址；
C是这个服务器与集群中的Leader服务器交换信息的端口；
D是万一集群中的Leader服务器挂了，需要一个端口来重新进行选举，选出一个新的Leader，而这个端口就是用来执行选举时服务器相互通信的端口。

集群模式下配置一个文件myid，这个文件在dataDir目录下，这个文件里面有一个数据就是A的值，Zookeeper启动时读取此文件，拿到里面的数据与zoo.cfg里面的配置信息比较从而判断到底是哪个server。

  1. 集群操作
    （1）在/opt/module/zookeeper-3.5.7/zkData目录下创建一个myid的文件
 touch myid

添加myid文件，注意一定要在linux里面创建，在notepad++里面很可能乱码

（2）编辑myid文件

 vi myid

在文件中添加与server对应的编号：如1

（3）拷贝配置好的zookeeper到hadoop102 hadoop103
注意：xsync为自定义分发shell脚本

 xsync  zookeeper-3.5.7

并分别修改myid文件中内容为2、3

（4）分别启动zookeeper
或者自定义脚本zk start 群起

 bin/zkServer.sh start

5）分别查看状态
或者zk status

 bin/zkServer.sh status

4、配置HDFS-HA自动故障转移

注意：在手动故障转移设置的基础上配置

  1. 具体配置

（1）在hdfs-site.xml中增加

 <property>
     <name>dfs.ha.automatic-failover.enabled</name>
     <value>true</value>
 </property>

（2）在core-site.xml文件中增加

 <property>
     <name>ha.zookeeper.quorum</name>
     <value>hadoop101:2181,hadoop102:2181,hadoop103:2181</value>
 </property>
  1. 启动

（1）关闭所有HDFS服务：

 stop-dfs.sh

（2）启动Zookeeper集群，在每个Zookeeper节点执行

 zkServer.sh start

（3）初始化HA在Zookeeper中状态：

 hdfs zkfc -formatZK

（4）启动HDFS服务：

 start-dfs.sh

  1. web端查看，一个Active的NameNode，两个Standby的NameNode

  2. 验证

    （1）将Active NameNode进程kill,实现自动故障转移kill -9 namenode的进程id

四、YARN-HA配置

1.规划集群
在这里插入图片描述
2. 具体配置

（1）yarn-site.xml

<configuration>  
   <property>
       <name>yarn.nodemanager.aux-services</name>
       <value>mapreduce_shuffle</value>
   </property>   
   <!--启用resourcemanager ha-->
   <property>
       <name>yarn.resourcemanager.ha.enabled</name>
      <value>true</value>
   </property>   
   <!--声明HA resourcemanager的地址-->
   <property>
       <name>yarn.resourcemanager.cluster-id</name>
       <value>cluster-yarn1</value>
   </property>
   <!-- 指定RM的逻辑列表  -->
   <property>
       <name>yarn.resourcemanager.ha.rm-ids</name>
       <value>rm1,rm2,rm3</value>
   </property>
 <!-- 指定rm1 的主机名  -->
  <property>
       <name>yarn.resourcemanager.hostname.rm1</name>
      <value>hadoop101</value>
  </property>
  <!-- 指定rm1的web端地址  -->
  <property>
       <name>yarn.resourcemanager.webapp.address.rm1</name>
      <value>hadoop101:8088</value>
  </property>
  <!--  =========== rm1 配置============  --> 
  <!-- 指定rm1的内部通信地址  -->
  <property>
       <name>yarn.resourcemanager.address.rm1</name>
      <value>hadoop101:8032</value>
  </property>
<!-- 指定AM向rm1申请资源的地址  -->
  <property>
       <name>yarn.resourcemanager.scheduler.address.rm1</name>  
      <value>hadoop101:8030</value>
  </property>
<!-- 指定供NM连接的地址  -->  
  <property>
       <name>yarn.resourcemanager.resource-tracker.address.rm1</name>
       <value>hadoop101:8031</value>
  </property>
 <!--  =========== rm2 配置============  -->   
  <property>
      <name>yarn.resourcemanager.hostname.rm2</name>
      <value>hadoop102</value>
  </property>
  <property>
       <name>yarn.resourcemanager.webapp.address.rm2</name>
       <value>hadoop102:8088</value>
  </property>
  <property>
       <name>yarn.resourcemanager.address.rm2</name>
       <value>hadoop102:8032</value>
  </property>
  <property>
       <name>yarn.resourcemanager.scheduler.address.rm2</name>
       <value>hadoop102:8030</value>
  </property>
  <property>
      <name>yarn.resourcemanager.resource-tracker.address.rm2</name>
      <value>hadoop102:8031</value>  
  </property>
 <!--  =========== rm3 配置============  -->    
  <property>
       <name>yarn.resourcemanager.hostname.rm3</name>
       <value>hadoop103</value>
  </property>
  <property>
       <name>yarn.resourcemanager.webapp.address.rm3</name>
       <value>hadoop103:8088</value>  
  </property>
  <property>
       <name>yarn.resourcemanager.address.rm3</name>
       <value>hadoop103:8032</value>
  </property>
  <property>
       <name>yarn.resourcemanager.scheduler.address.rm3</name>
       <value>hadoop103:8030</value>
  </property>
  <property>
       <name>yarn.resourcemanager.resource-tracker.address.rm3</name>
       <value>hadoop103:8031</value>
  </property>   
  <!--指定zookeeper集群的地址-->  
  <property>
       <name>yarn.resourcemanager.zk-address</name>
       <value>hadoop101:2181,hadoop102:2181,hadoop103:2181</value>
  </property>   
  <!--启用自动恢复--> 
  <property>
      <name>yarn.resourcemanager.recovery.enabled</name>
      <value>true</value>
  </property>   
  <!--指定resourcemanager的状态信息存储在zookeeper集群-->  
  <property>
       <name>yarn.resourcemanager.store.class</name>   
       <value>org.apache.hadoop.yarn.server.resourcemanager.recovery.ZKRMStateStore</value>       
  </property>
  <!-- 环境变量的继承 -->
  <property>
       <name>yarn.nodemanager.env-whitelist</name>     
       <value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME</value>
   </property>
 </configuration>

（2）同步配置文件到其他节点

xsync yarn-site.xml

  1. 启动HDFS

  2. 启动YARN

（1）在hadoop102中执行：

 start-yarn.sh

（2）查看服务状态

 yarn rmadmin -getServiceState rm1

（3）web端查看YARN的状态

查看standby状态的yarn会自动跳转到active状态

五、HDFS Federation架构设计

1. NameNode架构的局限性

（1）Namespace（命名空间）的限制

由于NameNode在内存中存储所有的元数据（metadata），因此单个NameNode所能存储的对象（文件+块）数目受到NameNode所在JVM的heap size的限制。50G的heap能够存储20亿（200million）个对象，这20亿个对象支持4000个DataNode，12PB的存储（假设文件平均大小为40MB）。随着数据的飞速增长，存储的需求也随之增长。单个DataNode从4T增长到36T，集群的尺寸增长到8000个DataNode。存储的需求从12PB增长到大于100PB。

（2）隔离问题

由于HDFS仅有一个NameNode，无法隔离各个程序，因此HDFS上的一个实验程序就很有可能影响整个HDFS上运行的程序。

（3）性能的瓶颈

由于是单个NameNode的HDFS架构，因此整个HDFS文件系统的吞吐量受限于单个NameNode的吞吐量。

2. HDFS Federation架构设计

能不能有多个NameNode
在这里插入图片描述
在这里插入图片描述

3. HDFS Federation应用思考

不同应用可以使用不同NameNode进行数据管理

图片业务、爬虫业务、日志审计业务

Hadoop生态系统中，不同的框架使用不同的NameNode进行管理NameSpace。（隔离性）

Carson_xcb
关注
  • 1
    点赞
  • 踩
  • 27
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
专栏目录
搭建 Hadoop-3.1.3 HA 集群
扛麻袋的少年的博客
06-16 547
二十六、搭建 Hadoop-3.1.3 HA 集群
Hadoop 完全分布式（3.1.3）部署（清爽版）
weixin_46376562的博客
09-26 1535
清爽版
hadoop3.1.3文档 配置高可用集群（HA）
JinShuYSM的博客
07-31 1019
本文是对hadoop3.1.3英文文档中比较重要的一部分进行了翻译，并加上一部分自己的理解。如果有不对的地方还请多多指教。本文不适合单纯想搭建HA集群的人群阅读。
2024年大数据最新hadoop(3) 搭建hadoop-HA_hadoop3 ha(1)
最新发布
2401_84181524的博客
05-02 467
2）网卡ip配置node01节点的IPADDR配置为192.168.132.101node02节点的IPADDR配置为192.168.132.102node03节点的IPADDR配置为192.168.132.1033）DNS配置node01节点、node01节点、node03节点都配置nameserver为8.8.8.84）重启网卡node01节点、node01节点、node03节点都需重启网卡。
Hadoop 3.1.3的安装部署(HA)
Knight
10-17 1691
目录HDFS HA搭建ResouceManager HA搭建启动集群 HDFS HA搭建 （1）上传压缩包到software文件夹，并进行解压 [root@hadoop202 servers]# cd /export/software/ [root@hadoop202 software]# tar -zxvf hadoop-3.1.3.tar.gz -C /export/servers/ （2）分发export目录下hadoop文件夹 [root@hadoop202 software]# cd /expo
hadoop3.1.3 HA
su_mingyang的博客
03-09 766
hadoop 3.1.3 完全分布式+HA+Zookeeper
hadoop3.1.3集群搭建(ha+yarn)
01-07
当前环境： centos6.5,jdk8 准备工作： 1.服务器之间免密登录 $ ssh-keygen -t dsa -P ” -f ~/.ssh/id_dsa $ cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys $ chmod 0600 ~/.ssh/authorized_keys 2.服务器之间时间同步 3.安装zookeeper集群 搭建步骤： 1.下载apache hadoop3.1.3并上传至服务器解压 https://www.apache.org/dyn/closer.cgi/hadoop/common/hadoop-3.1.3/ha
Hadoop HA 集群部署（以三台为例），zookeeper集群管理
youhebuke_f的博客
10-05 2891
Hadoop ha高可用集群部署
大数据 hadoop-3.1.3 linux 安装包
06-25
总之，Hadoop-3.1.3在Linux上的安装和配置是一个系统性的过程，涵盖了Java环境的准备、Hadoop配置文件的修改、服务的启动和测试等多个环节。这个过程不仅帮助我们理解Hadoop的基本原理，也为实际的大数据处理任务...
Hadoop3.1.3.rar
06-02
为了安装和使用Hadoop 3.1.3，你需要解压"Hadoop3.1.3"压缩包，配置相关的环境变量，如`HADOOP_HOME`，然后根据你的需求设置集群配置文件（如`core-site.xml`, `hdfs-site.xml`, `yarn-site.xml`等）。在完成所有...
hadoop3.1配置
10-15
hadoop3.1 core-site.xml 、hdfs-site.xml 、mapred-site.xml、yarn-site.xml的配置，亲测可用
Hadoop3.1.3 配置文件
01-15
在大数据处理领域，Hadoop是一个不...总之，理解并精通Hadoop3.1.3的配置文件是管理和优化大数据集群的关键步骤。每个配置项都关乎系统的整体表现，只有深入掌握并灵活运用，才能充分发挥Hadoop在大数据处理中的威力。
hadoop-3.1.3安装包
07-28
Hadoop实现了一个分布式文件系统(Hadoop Distributed File System)，简称HDFS。HDFS有高容错性的特点，并且设计用来部署在低廉的(low-cost)硬件上;而且它提供高吞吐量(high throughput)来访问应用程序的数据，适合...
Hadoop高可用配置HA.docx
04-21
Hadoop高可用配置HA.docx
Hadoop系列3：Hadoop版本比较
wy425826501的博客
06-09 2542
先占位
Apache Hadoop 3.3.1
weixin_39400958的博客
12-14 457
Apache Hadoop 3.3.1 Apache Hadoop 3.3.1 与以前主要发行版（hadoop-2.x）相比，包含了许多重要的增强功能。 这次发行是普遍可用的（GA），意味着它代表了API稳定性和质量的一个点，我们认为生产准备好了 概述 鼓励用户阅读全套发行说明。本页概述了主要更改。 最低限度的依赖Java 版本从Java 7增长到Java 8 所有Hadoop JAR包现在都是基于Java8运行时版本编译的。仍然使用java 7 或者更低版本的用户必须升级到Java8. 在HDFS中支持纠
基于Hadoop3.13完全分布式运行模式环境安装部署
BigData2018的博客
04-23 670
Hadoop完全分布式运行模式（开发重点) 一、前置条件 二、集群环境 三、Hadoop集群环境配置 四、集群单点启动 五、SSH无密登录配置 六、群起集群 七、集群启动与停止方式 八、配置历史服务器 九、配置日志的聚集 十、集群时间同步 一、前置条件 Hadoop本地运行模式的运行依赖 JDK，Hadoop需要预先安装，安装步骤见： 虚...
Hadoop 3.1.3分布式安装（非HA）
Monkey's blog
03-27 1538
Hadoop分布式安装（非HA）
"Hadoop高可用HA集群部署及验证详解：规划、部署、验证全解析
总的来说，Hadoop高可用（HA）集群的部署需要仔细规划和配置，并且需要定期验证和维护以确保集群的可用性和稳定性。通过本文提供的步骤和方法，可以帮助您快速搭建一个高可用的Hadoop集群，并确保数据的安全和可靠性...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值