基于ZooKeeper搭建Hadoop高可用集群(HA)

最新推荐文章于 2023-02-15 16:28:50 发布
最新推荐文章于 2023-02-15 16:28:50 发布
阅读量472 收藏 4
点赞数
文章标签： hadoop 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_48185778/article/details/108466965
版权

目录

以三台机器为例，ip地址和主机名如下：
192.168.136.80 hadoop80
192.168.136.82 hadoop82
192.168.136.83 hadoop83

1、什么是高可用集群

在hadoop中，NameNode非常重要，整个HDFS文件系统的元数据信息都由NameNode来管理，一旦NameNode不能工作了，就会影响整个集群的使用，在典型的HA集群管理中，两台独立的机器被配置为NameNode，在工作集群中，NameNode机器一个处于Active状态，另一个处于Standby状态，Standby主机保持足够的状态以提供快速故障切换。

高可用集群就是当某一个节点或服务器发生故障时，另一个节点能够自动且立即向外提供服务，将有故障节点上的资源转移到另一个节点上去，这样另一个节点有了资源既可以向外提供服务。高可用集群是用于单个节点发生故障时，能够自动将资源、服务进行切换，这样可以保证服务一直在线。

NameNode 和 ResourceManager都会存在单点故障问题，解决方式就是 HA。Hadoop 高可用 (High Availability) 分为 HDFS 高可用和 YARN 高可用，两者的实现基本类似，但 HDFS NameNode 对数据存储及其一致性的要求比 YARN ResourceManger 高得多，所以它的实现也更加复杂。

2、准备工作

1、集群搭建ok
2、时间同步
3、zookeeper需要ok
时间同步及zookeeper搭建

3、修改配置文件

1、core-site.xml

输入：vi /opt/hadoop/etc/hadoop/core-site.xml

<!--指定hdfs的nameservice为ns-->
 <property>
  <name>fs.defaultFS</name>
  <value>hdfs://ns</value>
 </property>
<!--指定hadoop临时目录-->
 <property>
  <name>hadoop.tmp.dir</name>
  <value>/opt/hadoop/tmp</value>
 </property>
<!-- 指定zookeeper地址 -->
 <property>
  <name>ha.zookeeper.quorum</name>
  <value>hadoop80:2181,hadoop82:2181,hadoop83:2181</value>
 </property>
 <property>
   <name>hadoop.proxyuser.root.hosts</name>
   <value>*</value>
 </property>
 <property>
   <name>hadoop.proxyuser.root.groups</name>
   <value>*</value>
 </property>
 <property>
    <name>hadoop.native.lib</name>
    <value>false</value>
    <description>Should native hadoop libraries, if present, be used.
    </description>
 </property>

2、hdfs-site.xml

输入：vi /opt/hadoop/etc/hadoop/hdfs-site.xml
修改内容如下：
1、nameservices集群下面的各个nameservice服务对应的映射
2、RPC通信地址：rpc-address的地址9000
3、http通信地址：http-address的地址50070
4、journalnode的共享地址（各个DataNode）：qjournal://datanode:8485;列表/集群名
5、出错处理：切换方式、隔离机制的设置、超时设置

<!-- 设置HDFS文件副本数，ha中可不配置 -->
<!--
    <property>
      <name>dfs.replication</name>
      <value>3</value>
    </property>
-->
<!--指定hdfs的nameservice为ns，需要和core-site.xml中的保持一致 -->
  <property>
    <name>dfs.nameservices</name>
    <value>ns</value>
  </property>

  <!-- ns下面有两个NameNode，分别是hadoop80，hadoop82 -->
  <property>
    <name>dfs.ha.namenodes.ns</name>
    <value>hadoop80,hadoop82</value>
  </property>

  <!-- hadoop80的RPC通信地址 -->
  <property>
    <name>dfs.namenode.rpc-address.ns.hadoop80</name>
    <value>hadoop80:9000</value>
  </property>
  <!-- hadoop80的http通信地址 -->
  <property>
    <name>dfs.namenode.http-address.ns.hadoop80</name>
    <value>hadoop80:50070</value>
  </property>
  <!-- hadoop82的RPC通信地址 -->
  <property>
    <name>dfs.namenode.rpc-address.ns.hadoop82</name>
    <value>hadoop82:9000</value>
  </property>
  <!-- hadoop82的http通信地址 -->
  <property>
    <name>dfs.namenode.http-address.ns.hadoop82</name>
    <value>hadoop82:50070</value>
  </property>
 <!-- 指定NameNode的元数据在JournalNode上的存放位置 -->
  <property>
    <name>dfs.namenode.shared.edits.dir</name>
    <value>qjournal://hadoop80:8485;hadoop82:8485;hadoop83:8485/ns</value>
  </property>
  <!-- 指定JournalNode在本地磁盘存放数据的位置 -->
  <property>
    <name>dfs.journalnode.edits.dir</name>
    <value>/opt/hadoop/tmp/journal</value>
  </property>
  <!-- 开启NameNode失败自动切换 -->
  <property>
    <name>dfs.ha.automatic-failover.enabled</name>
    <value>true</value>
  </property>
  <!-- 配置失败自动切换实现方式 -->
  <property>
    <name>dfs.client.failover.proxy.provider.ns</name>
    <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
  </property>
  <!-- 配置隔离机制方法，多个机制用换行分割，即每个机制暂用一行-->
  <property>
    <name>dfs.ha.fencing.methods</name>
    <value>
      sshfence
      shell(/bin/true)
    </value>
  </property>
  <!-- 配置sshfence隔离机制超时时间 -->
  <property>
    <name>dfs.ha.fencing.ssh.connect-timeout</name>
    <value>30000</value>
  </property>
  <property>
    <name>dfs.webhdfs.enabled</name>
    <value>true</value>
  </property>
<!--当使用HA配置集群，则不需要secondary.hhtp-address
    <property>
      <name>dfs.namenode.secondary.http-address</name>
      <value>192.168.136.82:50090</value>
    </property>
-->

3、mapred-site.xml

输入：vi /opt/hadoop/etc/hadoop/mapred-site.xml

<property>
  <name>mapreduce.framework.name</name>
  <value>yarn</value>
</property>
<!--指定jobhistory所在节点 -->
<property>
  <name>mapreduce.jobhistory.address</name>
  <value>192.168.136.83:10020</value>
</property>
<property>
  <name>mapreduce.jobhistory.webapp.address</name>
  <value>192.168.136.83:19888</value>
</property>

4、yarn-site.xml

输入：vi /opt/hadoop/etc/hadoop/yarn-site.xml
修改内容如下：
1、允许HA
2、rm-ids:rm1,rm2
3、rm1:nm1 及端口配置8088，rm2:nm2及端口配置8088
4、zookeeper配置

<!--HA配置-->
<!--开启HA配置-->
 <property>
   <name>yarn.resourcemanager.ha.enabled</name>
   <value>true</value>
 </property>
<!-- 指定RM集群的id -->
  <property>
    <name>yarn.resourcemanager.cluster-id</name>
    <value>cluster_id</value>
  </property>
<!-- 指定RM集群的名字 -->
  <property>
    <name>yarn.resourcemanager.ha.rm-ids</name>
    <value>rm1,rm2</value>
  </property>
<!-- 分别指定RM的地址 -->
  <property>
    <name>yarn.resourcemanager.hostname.rm1</name>
    <value>hadoop80</value>
  </property>
  <property>
    <name>yarn.resourcemanager.hostname.rm2</name>
    <value>hadoop82</value>
  </property>
  <property>
    <name>yarn.resourcemanager.webapp.address.rm1</name>
    <value>hadoop80:8088</value>
  </property>
  <property>
    <name>yarn.resourcemanager.webapp.address.rm2</name>
    <value>hadoop82:8088</value>
  </property>
<!-- 指定zookeeper集群地址 -->
  <property>
    <name>yarn.resourcemanager.zk-address</name>
    <value>hadoop80:2181,hadoop82:2181,hadoop83:2181</value>
  </property>
  <property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
  </property>
  <property>
    <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
    <value>org.apache.hadoop.mapred.ShuffleHandler</value>
  </property>
<!-- 日志聚集功能使用 -->
  <property>
    <name>yarn.log-aggregation-enable</name>
    <value>true</value>
  </property>
<!-- 日志保留时间设置7天 -->
  <property>
    <name>yarn.log-aggregation.retain-seconds</name>
    <value>604800</value>
  </property>

5、hadoop-env.sh

输入：vi /opt/hadoop/etc/hadoop/hadoop-env.sh
将export JAVA_HOME=${JAVA_HOME}用#注释掉
在下面新增：export JAVA_HOME=/opt/jdk1.8.0_221
如果是克隆的机器，此处应该已经修改好了。

6、slaves

输入：vi /opt/hadoop/etc/hadoop/slaves
写上三个主机的主机名

hadoop80
hadoop82
hadoop83

三台机器都需要进行以上配置修改，可以修改好一台配置，将配置文件传输给其他两台，
假设在hadoop80修改好配置，传给hadoop82、hadoop83
输入：scp /opt/hadoop/etc/hadoop/*.xml root@hadoop82: /opt/hadoop/etc/hadoop/
输入：scp /opt/hadoop/etc/hadoop/*.xml root@hadoop83: /opt/hadoop/etc/hadoop/
输入：scp /opt/hadoop/etc/hadoop/slaves root@hadoop82: /opt/hadoop/etc/hadoop/
输入：scp /opt/hadoop/etc/hadoop/slaves root@hadoop83: /opt/hadoop/etc/hadoop/

4、启动集群

1、确保集群处于关闭状态，
若未关闭，则stop-all.sh
2、删除tmp、logs文件夹，选择主节点重新format（可能需要提前启动journalnode）
删除tmp：rm -rf /opt/hadoop/tmp
删除logs：rm -rf /opt/hadoop/logs
启动journalnode：hadoop-daemons.sh start journalnode
格式化：hadoop namenode -format
3、把主节点新生成的tmp文件夹复制到备用节点
输入：scp -r /opt/hadoop/tmp root@hadoop82:/opt/hadoop/tmp
4、启动zookeeper（三台需要都启动）
输入：/opt/zkpr/bin/zkServer.sh start
5、启动整个集群（选择主节点启动即可）
输入：start-all.sh
6、在备用节点上启动resourcemanager
输入：yarn-daemon.sh start resourcemanager
7、主节点格式化zkfc
输入：hdfs zkfc -formatZK
8、主备节点启动zkfc
输入：hadoop-daemon.sh start zkfc
9、datanode节点启动历史服务（mapred-site.xml里配置的那台机器里输入）
输入：mr-jobhistory-daemon.sh start historyserver

5、测试集群是否部署成功

主节点：
在这里插入图片描述
副节点：

在这里插入图片描述
其他节点：

在这里插入图片描述

jobhistory可以通过端口号：192.168.136.83:19888查看具体的Job任务执行情况。
在这里插入图片描述

小财迷，嘻嘻
关注
基于zookeeper的hadoop ha集群安装过程
04-16
基于ZooKeeper的Hadoop HA集群可以提供高可用性和可扩展性，满足企业对大数据处理的需求。在本文中，我们将详细介绍基于ZooKeeper的Hadoop HA集群的安装过程。 一、 安装环境介绍 在安装基于ZooKeeper的Hadoop HA...
Hadoop环境搭建----（利用ZooKeeper搭建Hadoop的HA集群）
打卤的博客
03-21 850
1、安装 Zookeeper 集群 具体安装步骤参考之前的文档 https://blog.csdn.net/liyyzz33/article/details/88689594 2、安装 hadoop 集群 具体安装步骤参考之前的文档 https://blog.csdn.net/liyyzz33/article/details/88397249 这只需要根据以上安装好的集群进行修改配置 3、修改ha...
Hadoop-HA-3.3.3高可用集群搭建
qq_39604679的博客
05-29 3141
hadoop最新版本的HA高可用集群搭建流程
Hadoop完全分布式集群搭建 高可用ha6节点
Tgmmmmmmmm的博客
07-17 599
hadoop搭建完全分布式集群，ha方案，使用6节点进行
Hadoop 2.0 NameNode HA和Federation实践
Mac Track
12-13 1400
一、背景 天云趋势在2012年下半年开始为某大型国有银行的历史交易数据备份及查询提供基于Hadoop的技术解决方案，由于行业的特殊性，客户对服务的可用性有着非常高的要求，而HDFS长久以来都被单点故障的问题所困扰，直到Apache Hadoop在2012年5月发布了2.0的alpha版本，其中MRv2还很不成熟，可HDFS的新功能已经基本可用，尤其是其中的的High Availability
基于zookeeper的Hadoop集群搭建详细步骤
雷神乐乐的博客
02-15 2963
基于zookeeper搭建Hadoop集群
Hadoop HA高可用集群搭建（Hadoop+Zookeeper+HBase）
03-30
Hadoop HA高可用集群搭建（Hadoop+Zookeeper+HBase） 一、Hadoop HA高可用集群概述 在大数据处理中，高可用集群是非常重要的，Hadoop HA高可用集群可以提供高可靠性和高可用性，确保数据处理不中断。该集群由...
9、hadoop高可用HA集群部署及三种方式验证
最新发布
05-29
6. 启动Hadoop集群，包括DataNode、NameNode、Zookeeper等服务。 **三、HA集群验证** 验证Hadoop HA集群的正确性有三种常见方法： 1. **Web界面验证**：通过NameNode的HTTP地址访问HDFS Web UI，确认两个NameNode...
Hadoop高可用HA集群3.x以上版本安装.docx
08-07
Hadoop高可用HA集群3.x以上版本安装 Hadoop高可用集群安装是指在四个节点上安装Hadoop完全分布式集群，包括zookeeper、Kafka、mysql、Hive、Spark等相关组件。以下是安装过程中的关键步骤和知识点： 1. 安装Hadoop...
Hadoop3以及高可用HA搭建方式.zip
07-10
本教程将详细阐述Hadoop3的基础知识及其高可用性（High Availability，简称HA）的搭建方法。 首先，我们需要理解Hadoop的核心组件：HDFS（Hadoop Distributed File System）和YARN（Yet Another Resource ...
linux下搭建ha高可用集群
05-14
linux下搭建ha高可用集群，centos，Ubuntu，red hat环境下搭建。
基于zookeeper搭建Hadoop的HA高可用集群
qq_43634424的博客
01-10 1484
目录 一.准备工作 （一）.先配置一台机器作为模板，后面用于克隆 （二）.配置其他两台机器基础配置 （三）.ssh免密操作 二.配置集群 （一）.zookeeper集群配置(配置成功后需要拍快照) （二）.配置hadoop集群(配置完毕后拍快照) 一.准备工作 (这里用的这几个版本 apache-zookeeper-3.7.0-bin.tar.gz hadoop-2.7.2.tar.gz jdk-8u144-linux-x64.tar.gz ） （一）.先配置一...
（超详细）基于Zookeeper的Hadoop HA集群的搭建
JunLeon的博客
10-10 9879
基于Zookeeper的Hadoop HA集群的搭建 JunLeon——go big or go home 前言： 高可用（high availability，HA）指的是若当前工作中的机器宕机了，系统会自动处理异常，并将工作无缝地转移到其他备用机器上，以保证服务的高可靠性与可用性。 Hadoop HA是hadoop2.0后新添加的特性，包括NameNode HA和ResourceManager HA。 NameNode HA采用双Na...
基于ZooKeeper搭建Hadoop高可用集群
鱼骨 Sam的博客
06-16 411
基于ZooKeeper搭建Hadoop高可用集群一、高可用简介二、集群规划三、集群配置四、启动集群五、查看集群六、集群的二次启动 一、高可用简介 Hadoop 高可用（High Availability）分为HDFS 高可用和YARN 高可用，两者的实现基本类似，但是HDFS NameNode 对数据存储及其一致性的要求要比 YARN ResourceManger高得多，所以它的实现也更加复杂，故下面先进行讲解： 1.1 高可用整体架构 HDFS 高可用架构如下： HDFS 高可用架构主要由以下组件所构成
hadoop HA高可用集群搭建，ZooKeeper自动容灾
fantasticqiang的博客
06-15 2472
背景因为hadoop集群只有一个namenode，如果机器或者进程不可用之后，整个集群就瘫痪了，namenode节点存在单点故障的问题。HA架构    通常一个典型的HA集群有两个namenode，在任一时刻只有一个namenode是active状态，另外一个namenode处于standby待命状态。active激活态的namenode负责客户端的操作，standby待命态扮演slave从节点的...
基于ZooKeeper搭建Hadoop高可用集群，附大数据入门指南
架构文摘
06-26 688
大数据依然是当前较为火热的领域，其背后的核心价值是数据。今天分享一个GitHub上一个系类文章，作者是heibaiying，大数据入门指南（2019）地址：https:/...
centos7安装hadoop集群，并基于zookeeper实现HA高可用
yuer5531的博客
01-26 1196
centos7安装hadoop集群，并实现HA高可用环境准备1、JDK1.8安装1.1、查看及卸载系统自带的jdk版本1.2、安装Oracle jdk1.8.0_1912、Zookeeper安装2.1、下载Zookeeper稳定版并解压2.2、配置Zookeeper集群3、虚拟机配置免密登录4、Hadoop安装插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左...
基于zookeeper的高可用Hadoop HA集群安装
猿类崛起
06-18 5646
(1)hadoop2.7.1源码编译 http://aperise.iteye.com/blog/2246856 (2)hadoop2.7.1安装准备 http://aperise.iteye.com/blog/2253544 (3)1.x和2.x都支持的集群安装 http://aperise.iteye.com/blog/2245547
基于ZooKeeper的Hadoop高可用HA搭建指南
Hadoop 3.x 高可用 HA 搭建方式是指在 Hadoop 集群中实现高可用的方法，旨在提高集群的可用性和可靠性。本文将详细介绍 Hadoop 3.x 高可用 HA 搭建方式的架构、组件、配置和实现过程。 一、高可用简介 Hadoop 高...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值