搭建HA高可用

最新推荐文章于 2021-10-20 12:41:34 发布
最新推荐文章于 2021-10-20 12:41:34 发布
阅读量203 收藏
点赞数
分类专栏： hadoop 文章标签： hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_46191714/article/details/119868814
版权

1，必要的基础：四节点的非高可用集群，第四个节点的zookeeper可设置为observer
2，在此基础上，修改core-site.xml为：

<configuration>
<!-- 集群初始配置 -->
<!-- 此处开启HA，因此需要将fs.default.name修改为fs.defaultFS -->
<property>
  <name>fs.defaultFS</name>
  <value>hdfs://ns</value>
</property>
<!-- 这里也可以改一下高可用存储数据的路径，文件夹需自建 -->
<property>
  <name>hadoop.tmp.dir</name>
   <value>/usr/hadoop/hadoop-2.7.3/hdfs/tmp</value>
</property>
<property>
  <name>io.file.buffer.size</name>
   <value>131072</value>
</property>
<property>
  <name>fs.checkpoint.period</name>
   <value>60</value>
</property>
<property>
  <name>fs.checkpoint.size</name>
   <value>67108864</value>
</property>
<!-- 集群初始配置结束，上面有修改，下面为增加-->
<property>
<name>ha.zookeeper.quorum</name>
<value>slave1:2181,slave2:2181,slave3:2181</value>
</property>
</configuration>

3，修改hdfs-site.xml为：

<configuration>
<!-- 初始配置  -->
<property>
 <name>dfs.replication</name>
   <value>2</value>
</property>
<property>
  <name>dfs.namenode.name.dir</name>
  <value>file:/usr/hadoop/hadoop-2.7.3/hdfs/name</value>
  <final>true</final>
</property>
<property>
  <name>dfs.datanode.data.dir</name>
  <value>file:/usr/hadoop/hadoop-2.7.3/hdfs/data</value>
  <final>true</final>
</property>
<property>
 <name>dfs.replication</name>
   <value>2</value>
</property>
<property>
  <name>dfs.webhdfs.enabled</name>
  <value>true</value>
</property>
<property>
  <name>dfs.namenode.http-address</name>
  <value>master:50070</value>
</property>
<property>
  <name>dfs.permissions.enabled</name>
  <value>false</value>
</property>
<!--初始配置结束 -->
<!-- 高可用增加配置 -->
<property>
  <name>dfs.nameservices</name>
  <value>ns</value>
</property>
<property>
  <name>dfs.ha.namenodes.ns</name>
  <value>nn1,nn2</value>
</property>
<property>
  <name>dfs.namenode.rpc-address.ns.nn1</name>
  <value>master:9000</value>
</property>
<property>
  <name>dfs.namenode.rpc-address.ns.nn2</name>
  <value>slave1:9000</value>
</property>
<property>
  <name>dfs.namenode.http-address.ns.nn1</name>
  <value>master:50070</value>
</property>
<property>
  <name>dfs.namenode.http-address.ns.nn2</name>
  <value>slave1:50070</value>
</property>
<property>
  <name>dfs.namenode.shared.edits.dir</name>
  <value>qjournal://master:8485;slave1:8485/ns</value>
</property>
<property>
<name>dfs.journalnode.edits.dir</name>
<value>/usr/hadoop/hadoop-2.7.3/journaldata</value>
</property>
<property>
 <name>dfs.ha.automatic-failover.enabled</name>
 <value>true</value>
</property>
<property>
  <name>dfs.client.failover.proxy.provider.ns</name>
  <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
</property>
<property>
  <name>dfs.ha.fencing.methods</name>
  <value>sshfence</value>
</property>
<!-- 这里要考虑一下，rsa与dsa -->
<property>
  <name>dfs.ha.fencing.ssh.private-key-files</name>
  <value>/root/.ssh/id_rsa</value>
</property>
<!-- 高可用配置结束 -->
</configuration>

4，修改yarn-site.xml为：

<configuration>
<!-- 在普通集群基础上除指定reducer外全要变 -->
<!-- 开启RM高可用 -->
<property>
  <name>yarn.resourcemanager.ha.enabled</name>
  <value>true</value>
</property>
<!-- 这里与普通集群基本配置属性一样，就是需要配两个rm -->
<!-- 指定YARN HA的名称 -->
  <property>
    <name>yarn.resourcemanager.cluster-id</name>
    <value>jyarn</value>
  </property>
  <!-- 指定两个resourcemanager的名称 -->
  <property>
    <name>yarn.resourcemanager.ha.rm-ids</name>
    <value>rm1,rm2</value>
  </property>
  <!-- 配置rm1，rm2的主机 -->
  <property>
    <name>yarn.resourcemanager.hostname.rm1</name>
    <value>slave2</value>
  </property>
  <property>
    <name>yarn.resourcemanager.hostname.rm2</name>
    <value>slave3</value>
  </property>
  <!-- 配置zookeeper的地址 -->
  <property>
    <name>yarn.resourcemanager.zk-address</name>
    <value>master:2181,slave1:2181,slave2:2181,slave3:2181</value>
  </property>
  <!-- 配置zookeeper的存储位置 -->
  <property>
    <name>yarn.resourcemanager.zk-state-store.parent-path</name>
    <value>/rmstore</value>
  </property>
<!-- 指定reducer获取数据的方式-->
 <property>
  <name>yarn.nodemanager.aux-services</name>
  <value>mapreduce_shuffle</value>
 </property>
 <property>
  <name>yarn.nodemanager.auxservices.mapreduce.shuffle.class</name>
  <value>org.apache.hadoop.mapred.ShuffleHandler</value>
 </property>
<!-- 指定ResourceManager的端口-->
<property>
 <name>yarn.resourcemanager.address.rm1</name>
   <value>slave2:18040</value>
 </property>
 <property>
   <name>yarn.resourcemanager.scheduler.address.rm1</name>
   <value>slave2:18030</value>
 </property>
 <property>
   <name>yarn.resourcemanager.webapp.address.rm1</name>
   <value>slave2:18088</value>
 </property>
 <property>
   <name>yarn.resourcemanager.resource-tracker.address.rm1</name>
   <value>slave2:18025</value>
 </property>
 <property>
  <name>yarn.resourcemanager.admin.address.rm1</name>
  <value>slave2:18141</value>
 </property>
<property>
 <name>yarn.resourcemanager.address.rm2</name>
   <value>slave3:18040</value>
 </property>
 <property>
   <name>yarn.resourcemanager.scheduler.address.rm2</name>
   <value>slave3:18030</value>
 </property>
 <property>
   <name>yarn.resourcemanager.webapp.address.rm2</name>
   <value>slave3:18088</value>
 </property>
 <property>
   <name>yarn.resourcemanager.resource-tracker.address.rm2</name>
   <value>slave3:18025</value>
 </property>
 <property>
  <name>yarn.resourcemanager.admin.address.rm2</name>
  <value>slave3:18141</value>
 </property>
<!-- 启用自动故障转移 -->
  <property>
    <name>yarn.resourcemanager.ha.automatic-failover.enabled</name>
    <value>true</value>
  </property>
  <!-- 开启yarn resourcemanager restart -->
  <property>
    <name>yarn.resourcemanager.recovery.enabled</name>
    <value>true</value>
  </property>
  <!-- 配置resourcemanager的状态存储到zookeeper中 -->
  <property>
    <name>yarn.resourcemanager.store.class</name>
    <value>org.apache.hadoop.yarn.server.resourcemanager.recovery.ZKRMStateStore</value>
  </property>
 
  <!-- 开启yarn nodemanager restart -->
  <property>
    <name>yarn.nodemanager.recovery.enabled</name>
    <value>true</value>
  </property>
 <!-- 以下非必须配置 -->
  <!-- 配置nodemanager IPC的通信端口 -->
  <property>
    <name>yarn.nodemanager.address</name>
    <value>0.0.0.0:45454</value>
  </property>
 <!-- 开启 YARN 集群的日志聚合功能 -->
    <property>
        <name>yarn.log-aggregation-enable</name>
        <value>true</value>
    </property>
 
    <!-- YARN 集群的聚合日志最长保留时长 -->
    <property>
        <name>yarn.log-aggregation.retain-seconds</name>
        <!--1天-->
        <value>86400</value>
    </property>
</configuration>

分发命令(3个文件3个节点都要)：

scp -r core-site.xml root@slave1:/usr/hadoop/hadoop-2.7.3/etc/hadoop/

5，执行yum -y install psmisc下载，确保自动转移机制正常运行

6，启动zookeeper

7，启动journalnode进程初始化namenode
在master，slave1这两个journalnode节点上启动journalnode进程
hadoop-daemon.sh start journalnode
在master上初始化文件系统
hadoop namenode -format
在master上启动namenode进程
hadoop-daemon.sh start namenode
在slave1上同步namenode元数据
hadoop namenode -bootstrapStandby
在master或slave1上格式化zkfc
hdfs zkfc -formatZK
在master和slave1上停掉journode进程
hadoop-daemon.sh stop journalnode
在master和slave1上停掉namenode进程
hadoop-daemon.sh stop namenode

8，启动文件系统
在master上执行start-dfs.sh
在slave2上执行start-yarn.sh
在slave3上执行yarn-daemon.sh start resourcemanager
在master上执行mr-jobhistory-daemon.sh start historyserver

9，通过网页访问master和slave1的50070端口（http://xxx.xxx.xxx.xxx:50070），由网页显示可见一个节点处于active，一个节点处于standby
在这里插入图片描述
在这里插入图片描述

10，通过网页访问slave2和slave3的18088端口
在这里插入图片描述

11，通过网页访问master的19888端口
在这里插入图片描述

12，在9中所述网页显示为active的节点上执行
hadoop-daemon.sh stop namenode
再次访问该节点的50070端口，可见网页无法访问，再次访问9中所述处于standby节点的50070端口，可见该节点状态由standby变为active
在刚刚停掉namenode进程的该节点上执行
hadoop-daemon.sh start namenode
启动namenode进程后再次访问该节点的50070端口，可见网页正常访问，同时状态为standby，容灾成功

13，如果要通过hive客户端使用hive，需要保证hive客户端所在节点处于active

梧桐林.
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
HA高可用的搭建
07-22 184
HA 即 （high available）高可用，又被叫做双机热备，用于关键性业务。 简单理解就是，有两台机器A和B，正常是A提供服务，B待命闲置，当A宕机或服务宕掉，会切换至B机器继续提供服务。常用实现高可用的开源软件有heartbeat和keepalived，其中keepalived有负载均衡的功能。<ignore_js_op> HA高可用搭建目的及环境说明： 这...
搭建高可用HA
TaiYangb的博客
07-10 206
完全分布式系统: 完全分布式系统的hadoop是不能用于生产环境 为什么? 1: 单点故障:整个系统崩溃(如果NameNode挂掉,整个系统都会挂掉) 2: 内存不足:随着业务的越来越大,内存的需求肯定跟不上数据的增长(压力过大内存受限) 3: 启动时间 日志越来越大,启动的时间会越来越长 4: 业务隔离:如果其中一额内存占用较大,会影响其他的业务 解决方法: 配置高可用的分布式系统 解决单点故障...
2020-11-9 高可用HA 解决配置HDFS HA fs.defaultFS 后 hive 抛错 UnknownHostException: mycluster
qq_44143557的博客
11-09 948
在master hive的conf 中添加hive-site.xml 和 hdfs-site.xml 文件。
hadoop高可用性配置参考
wz0113的博客
10-20 358
1.core-site.xml <configuration> <!--指定HDES的nameservice为ns1 --> <property> <name>fs.defaultFS</name> <value>hdfs://ns1</value> </property> <!--指定Hadoop 临时目录 --> <property> <name>ha
搭建高可用的hdfs集群
yeah_you_are的博客
05-19 321
1.安装jdk 下载jdk二进制安装包到linux系统，解压至指定位置，配置环境变量。 然后source /etc/profile。 我这里将所有的安装包放在/opt/software 下，软件安装在/opt/apps/目录下。 2.安装hadoop 下载hadoop二进制安装包，解压，配置环境变量，基本与jdk安装相同。配置hadoop的Javahome路径。 cd $HADOOP_HOME/etc/hadoop vim hadoop-env.sh 找到export JAVA_HOME=${JAVA_H
linux下搭建ha高可用集群
05-14
Linux 下搭建 HA 高可用集群 HA 高可用集群（High Availability Cluster）是一种特殊类型的集群系统，它的主要目的是为了使集群的整体服务尽可能可用，从而减少由计算机硬件和软件易错性所带来的损失。在 Linux 下...
Hadoop3以及高可用HA搭建方式.zip
07-10
本教程将详细阐述Hadoop3的基础知识及其高可用性（High Availability，简称HA）的搭建方法。 首先，我们需要理解Hadoop的核心组件：HDFS（Hadoop Distributed File System）和YARN（Yet Another Resource ...
HadoopHA高可用完全分布式搭建
01-07
一、准备工作 1.在四台节点上安装JDK以及Hadoop 2.在node02、node03、node04节点上安装Zookeeper 3.节点配置分布如下??? 二、配置JDK、Hadoop、以及Zookeeper环境变量 在四台节点上配置好JDK、Hadoop以及Zookeeper...
Spark环境搭建——HA高可用模式
01-20
Spark的高可用（HA）模式是为了克服其Standalone集群中Master节点的单点故障问题而设计的。在标准模式下，Spark Standalone集群由一个Master节点和多个Slave节点组成，Master负责调度作业和管理资源，但这样的架构...
hadoop高可用搭建文档
10-10
在大数据处理领域，Hadoop是不可或缺的核心组件，其高可用性（High Availability, HA）功能是确保服务不中断的关键。本篇文章将详细讲解如何搭建Hadoop的高可用环境，适用于生产环境，即使面对高版本的Hadoop，也...
10 节、离线计算系统（hadoop高可用）
大书童的博客
12-15 183
Hadoop的HA机制     前言：正式引入HA机制是从hadoop2.0开始，之前的版本中没有HA机制 1.1 HA的运作机制 （1）hadoop-HA集群运作机制介绍     所谓HA，即高可用（7*24小时不中断服务）     实现高可用最关键的是消除单点故障     hadoop-ha严格来说应该分成各个组件的HA机制——HDFS的HA、YARN的HA （2）HDFS的HA机制详解  ...
Day06:HDFS与Hadoop的HA
保护胖丁
04-26 208
优秀是一种习惯
hadoop-fs.defaultFS
a3125504x的博客
05-19 8314
在java代码中配置hadoop需要调用 conf.set方法。此方法中要求传入name和value //源码 public void set(String name, String value) { set(name, value, null); } //配置代码 Configuration conf = new Configuration(); conf.set("fs:defaultFS","hdfs://node01:8020"); 此name和value实际上在 core-s.
fs.default.name和fs.defaultFS
热门推荐
lepton126的专栏
03-08 1万+
在hadoop的配置文件 core-site.xml中，需要设置fs.default.name或fs.defaultFS ，具体应该使用哪一个，会造什么样的错误，需要在实际操作中去验证。官网有下面这段描述 We need to have only one of the two (fs.default.name or fs.defaultFS, and the former is d...
java fs.default.name_HDFS API文件上传，fs.default.name配置的关键性
weixin_39991148的博客
03-04 554
Exceptioninthread"main"java.lang.IllegalArgumentException:WrongFS:hdfs://master:9000/index.html,expected:file:///atorg.apache.hadoop.fs.FileSystem.checkPath(FileSystem.java:390)atorg.apache....
hadoop-ha配置
隔壁老杨的专栏
05-15 3688
HADOOP HA配置 hadoop2.x的ha配置，此文档中描述有hdfs与yarn的ha配置。 此文档的假定条件是zk已经安装并配置完成,其实也没什么安装的。 hdfs ha配置 首先，先配置core-site.xml配置文件： 在老版本中使用mr1时,还可能使用fs.default.name来进行配置   fs.defaultFS 此处配置的mycluster目前还没
Hadoop-HDFS集群搭建(HA模式搭建)
qq_40616823的博客
12-12 1677
一、HA集群搭建节点分布 这里准备4台物理机，对图上的意思进行讲解： node1机器中需要搭建NN角色、JN角色、ZKFC角色。 node2机器中需要搭建NN角色、JN角色、DN角色、ZKFC角色、ZK角色。 node3机器中需要搭建JN角色、DN角色、ZK角色。 node4机器中需要搭建DN角色、ZK角色。 搭建过程可以参考文档：https://hadoop.apache.org/docs/r2.6.5/hadoop-project-dist/hadoop-hdfs/HDFSHighAvailabi
华为FusionCompute私有云搭建：高可用与HA实践
"华为FusionCompute私有云搭建手册，详述了如何构建基于FusionCompute和OceanStor5300v3存储的企业级虚拟化环境，涵盖了CNA安装、VRM主备部署、IP-SAN配置、HA高可用、虚拟机业务操作等多个方面。" 本文档主要介绍...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值