Hadoop -- Hadoop的高可用HA搭建

已于 2023-03-03 19:31:06 修改
阅读量651 收藏 1
点赞数
分类专栏： Hadoop 文章标签： hadoop linux 大数据
于 2020-04-13 12:04:24 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Aeve_imp/article/details/105484677
版权

向导

HA简介

  1. 所谓HA（High Available），即高可用（7*24小时不中断服务）。
  2. 实现高可用最关键的策略是消除单点故障。HA严格来说应该分成各个组件的HA机制：HDFS的HA和YARN的HA。
  3. Hadoop2.0之前，在HDFS集群中NameNode存在单点故障（SPOF）。
  4. NameNode主要在以下两个方面影响HDFS集群
    NameNode机器发生意外，如宕机，集群将无法使用，直到管理员重启
    NameNode机器需要升级，包括软件、硬件升级，此时集群也将无法使用
    HDFS HA功能通过配置Active/Standby两个NameNodes实现在集群中对NameNode的热备来解决上述问题。如果出现故障，如机器崩溃或机器需要升级维护，这时可通过此种方式将NameNode很快的切换到另外一台机器。

HA工作要点

  1. 元数据管理方式需要改变
    内存中各自保存一份元数据；
    Edits日志只有Active状态的NameNode节点可以做写操作；
    两个NameNode都可以读取Edits；
    共享的Edits放在一个共享存储中管理（qjournal和NFS两个主流实现）；
  2. 需要一个状态管理功能模块
    实现了一个zkfailover，常驻在每一个namenode所在的节点，每一个zkfailover负责监控自己所在NameNode节点，利用zk进行状态标识，当需要进行状态切换时，由zkfailover来负责切换，切换时需要防止brain split现象的发生。
  3. 必须保证两个NameNode之间能够ssh无密码登录
  4. 隔离（Fence），即同一时刻仅仅有一个NameNode对外提供服务

1.准备环境

  以三台为例：
1）准备3台客户机（关闭防火墙、静态ip、主机名称）
2）配置ssh，同步时间
3）安装JDK
4）安装Zookeeper
5）安装Hadoop
6）配置环境变量
7）配置集群
8）群起并测试集群

  集群规划：
在这里插入图片描述

2.配置ssh，同步时间

  配置SSH参考：https://blog.csdn.net/Aeve_imp/article/details/105393061
  同步时间:date -s "xxxx-xx-xx xx:xx:xx"

3.安装JDK

  省略

4.安装Zookeeper

  在hadoop102、hadoop103和hadoop104三个节点上部署Zookeeper。

  1. 解压安装
tar -zxvf zookeeper-3.4.10.tar.gz -C /opt/module/
  1. 在/opt/module/zookeeper-3.4.10/这个目录下创建zkData，mkdir -p zkData
  2. 重命名/opt/module/zookeeper-3.4.10/conf这个目录下的zoo_sample.cfg为zoo.cfg
mv zoo_sample.cfg zoo.cfg
  1. 配置zoo.cfg文件
#修改配置
dataDir=/opt/module/zookeeper-3.4.10/zkData
#增加配置
server.2=hadoop102:2888:3888
server.3=hadoop103:2888:3888
server.4=hadoop104:2888:3888
  1. 分发文件：scp zookeeper-3.4.10 用户名@主机名:/opt/module/
  2. 进入zookeeper的zkData下，创建myid文件，根据上面zoo.cfg的server.x，给不同机器配置不同id
cd zkData
# hadoop102
echo 2 > myid

# hadoop103
echo 3 > myid

# hadoop104
echo 4 > myid
  1. 分别启动zookeeper，并查看各个zk状态
bin/zkServer.sh start
bin/zkServer.sh status

5.安装Hadoop

  1. 上传并解压
tar -zxvf hadoop-2.7.2.tar.gz -C /opt/software/
  1. 配置环境变量
vi ~/.bash_profile
export JAVA_HOME=/opt/software/jdk1.8.0_181
export HADOOP_HOME=/opt/software/hadoop-2.7.7
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

  source ~/.bash_profile，刷新环境变量，查看版本，后面scp分发后需要在其他机器也source下

java -version
hadoop version
  1. 修改hadoop-env.xml
      在javaHome那里添加javaHome的位置，设置hadoop pid文件夹，默认存储在tmp目录下，会被系统清理，导致后面不能群关集群，vi hadoop-env.sh
export JAVA_HOME=/opt/software/jdk1.8.0_181
export HADOOP_PID_DIR=/opt/ha/hadoop-2.7.2/pids
  1. 修改core-site.xml，添加如下配置
<configuration>
<!-- 把两个NameNode）的地址组装成一个集群mycluster -->
		<property>
			<name>fs.defaultFS</name>
        	<value>hdfs://mycluster</value>
		</property>

		<!-- 指定hadoop运行时产生文件的存储目录 -->
		<property>
			<name>hadoop.tmp.dir</name>
			<value>/opt/ha/hadoop-2.7.2/data/tmp</value>
		</property>

		<!-- 失败自动切换 -->
		<property>
			<name>ha.zookeeper.quorum</name>
			<value>hadoop102:2181,hadoop103:2181,hadoop104:2181</value>
		</property>
		<!-- 垃圾桶 -->
		<property>
		    <name>fs.trash.interval</name>
		    <value>1440</value>
  	    </property>
</configuration>
  1. 修改hdfs-site.xml
<configuration>
	  <property>
	    <name>dfs.replication</name>
	    <value>3</value>
	  </property>
	<!-- 完全分布式集群名称 -->
	<property>
		<name>dfs.nameservices</name>
		<value>mycluster</value>
	</property>

	<!-- 集群中NameNode节点都有哪些 -->
	<property>
		<name>dfs.ha.namenodes.mycluster</name>
		<value>nn1,nn2</value>
	</property>

	<!-- nn1的RPC通信地址 -->
	<property>
		<name>dfs.namenode.rpc-address.mycluster.nn1</name>
		<value>hadoop102:9000</value>
	</property>

	<!-- nn2的RPC通信地址 -->
	<property>
		<name>dfs.namenode.rpc-address.mycluster.nn2</name>
		<value>hadoop103:9000</value>
	</property>

	<!-- nn1的http通信地址 -->
	<property>
		<name>dfs.namenode.http-address.mycluster.nn1</name>
		<value>hadoop102:50070</value>
	</property>

	<!-- nn2的http通信地址 -->
	<property>
		<name>dfs.namenode.http-address.mycluster.nn2</name>
		<value>hadoop103:50070</value>
	</property>

	<!-- 指定NameNode元数据在JournalNode上的存放位置 -->
	<property>
		<name>dfs.namenode.shared.edits.dir</name>
	<value>qjournal://hadoop102:8485;hadoop103:8485;hadoop104:8485/mycluster</value>
	</property>

	<!-- 配置隔离机制，即同一时刻只能有一台服务器对外响应 -->
	<property>
		<name>dfs.ha.fencing.methods</name>
		<value>sshfence</value>
	</property>

	<!-- 使用隔离机制时需要ssh无秘钥登录-->
	<property>
		<name>dfs.ha.fencing.ssh.private-key-files</name>
		<value>/home/hadoop/.ssh/id_rsa</value>
	</property>

	<!-- 声明journalnode服务器存储目录-->
	<property>
		<name>dfs.journalnode.edits.dir</name>
		<value>/opt/ha/hadoop-2.7.2/data/jn</value>
	</property>

	<!-- 关闭权限检查-->
	<property>
		<name>dfs.permissions.enable</name>
		<value>true</value>
	</property>

	<!-- 访问代理类：client，mycluster，active配置失败自动切换实现方式-->
	<property>
  		<name>dfs.client.failover.proxy.provider.mycluster</name>
		<value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
	</property>
	<!-- 失败自动切换 -->
	<property>
		<name>dfs.ha.automatic-failover.enabled</name>
		<value>true</value>
	</property>
	<!-- 安装用户是谁，xxx改成谁 -->
	<property>
        <name>hadoop.proxyuser.bigdata.hosts</name>
        <value>*</value>
	</property>
	<property>
        <name>hadoop.proxyuser.bigdata.groups</name>
        <value>*</value>
	</property>
</configuration>
  1. 修改mapred-site.xml
<!-- 指定MR运行在Yarn上 -->
<property>
		<name>mapreduce.framework.name</name>
		<value>yarn</value>
</property>
  1. 修改yarn-site.xml
<configuration>

    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>

    <!--启用resourcemanager ha-->
    <property>
        <name>yarn.resourcemanager.ha.enabled</name>
        <value>true</value>
    </property>
 
    <!--声明两台resourcemanager的地址-->
    <property>
        <name>yarn.resourcemanager.cluster-id</name>
        <value>cluster-yarn1</value>
    </property>

    <property>
        <name>yarn.resourcemanager.ha.rm-ids</name>
        <value>rm1,rm2</value>
    </property>

    <property>
        <name>yarn.resourcemanager.hostname.rm1</name>
        <value>hadoop102</value>
    </property>

    <property>
        <name>yarn.resourcemanager.hostname.rm2</name>
        <value>hadoop103</value>
    </property>
 
    <!--指定zookeeper集群的地址--> 
    <property>
        <name>yarn.resourcemanager.zk-address</name>
        <value>hadoop102:2181,hadoop103:2181,hadoop104:2181</value>
    </property>

    <!--启用自动恢复--> 
    <property>
        <name>yarn.resourcemanager.recovery.enabled</name>
        <value>true</value>
    </property>
    <!--指定resourcemanager的状态信息存储在zookeeper集群--> 
    <property>
        <name>yarn.resourcemanager.store.class</name>     
        <value>org.apache.hadoop.yarn.server.resourcemanager.recovery.ZKRMStateStore</value>
</property>
<!-- 允许分配给一个任务最大的CPU核数，默认是8 -->
<property>
        <name>yarn.nodemanager.resource.cpu-vcores</name>
        <value>14</value>
</property>
<property>
        <name>yarn.scheduler.maximum-allocation-vcores</name>
        <value>8</value>
</property>
<!-- 每个节点可用内存,单位MB -->
<property>
        <name>yarn.nodemanager.resource.memory-mb</name>
        <value>56320</value>
</property>
<!-- 单个任务可申请最少内存，默认1024MB -->
<property>
        <name>yarn.scheduler.minimum-allocation-mb</name>
        <value>1024</value>
</property>
<!-- 单个任务可申请最大内存，默认8192MB -->
<property>
        <name>yarn.scheduler.maximum-allocation-mb</name>
        <value>16384</value>
</property>
<property>
        <name>yarn.nodemanager.vmem-check-enable</name>
        <value>false</value>
</property>
<property>
    <name>yarn.log-aggregation-enable</name>
    <value>true</value>
</property>
<property>
     <name>yarn.log-aggregation.retain-seconds</name>
     <value>604800</value>
 </property>
      <property>
        <name>yarn.log.server.url</name>        
        <value>http://xxx:19888/jobhistory/logs</value>
</property>
<property>
    <name>yarn.nodemanager.aux-services</name>
    <value>spark_shuffle</value>
  </property>
  <property>
    <name>yarn.nodemanager.aux-services.spark_shuffle.class</name>
    <value>org.apache.spark.network.yarn.YarnShuffleService</value>
  </property>
  <property>
    <name>spark.shuffle.service.port</name>
    <value>7337</value>
  </property>
<property>
</configuration>
  1. 修改slave，删除localhost，添加如下：
hadoop0002
hadoop0003
hadoop0004
  1. 分发文件
scp -r hadoop-2.7.2 用户名@主机名:$PWD

6.群起集群

1. 在各个JournalNode节点上，输入以下命令启动journalnode服务
```shell
hadoop-daemon.sh start journalnode
  1. 在[nn1]上，对其进行格式化
hadoop namenode -format
  1. 启动集群
start-dfs.sh
  1. 在[nn2]上，同步nn1的元数据信息
hdfs namenode -bootstrapStandby
  1. 初始化/启动 zkfc
bin/hdfs zkfc -formatZK

hadoop-daemon.sh start zkfc
  1. 停止hdfs，重新启动所有
stop-dfs.sh
start-dfs.sh
  1. 启动yarn
#在主resourceManager节点启动yarn
start-yarn.sh
#在备resourceManager节点启动resourceManager
sbin/yarn-daemon.sh start resourcemanager
  1. 将某节点改为active
bin/hdfs haadmin -transitionToActive nn1
  1. 查看namenode是否激活状态
bin/hdfs haadmin -getServiceState nn1

7.验证

  进入页面查看状态，hdfs端口50070，yarn端口8088

http://xxxx:50070
http://xxxx:8088

在这里插入图片描述
在这里插入图片描述
  使用hadoop example测试wordcount：

#编辑文件，上传hdfs，提交任务
hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar wordcount wcinput wcoutput

参考：hadoop3.x部署

TheBiiigBlue
关注
专栏目录
hadoop-ha搭建
05-13
【Hadoop-HA搭建】是大数据环境中为了实现高可用性（High Availability）而进行的一项重要工作，它确保了Hadoop集群的关键服务如NameNode、ResourceManager等在故障时能够快速切换，避免单点故障导致的数据不可用。...
【Hadoop】HA高可用搭建保姆级教程（大二学长的万字笔记）
最新发布
你不来，再美的天地，都狼藉 ~
05-29 1万+
Hadoop HA高可用搭建保姆级教程，来自正在学习大数据导论的大二学长的万字笔记，干得不能再干的干货分享！
基于Hadoop搭建HA集群网盘系统
fengxiandada的博客
07-07 2028
基于Hadoop搭建HA集群网盘系统
Hadoop 编写自动安装Hadoop脚本
m0_73469590的博客
02-18 671
Hadoop 编写自动安装Hadoop脚本
【Hadoop HA】搭建Hadoop HA的详细教程
HR的博客
04-13 7344
搭建Hadoop HA的详细教程前置工作配置host文件ssh免密登录JDK的配置ZooKeeper配置Hadoop HA配置文件core-site.xmlhdfs-site.xmlmapred-site.xmlyarn-site.xml启动与测试 前置工作 配置host文件 在每个节点的/etc/hosts文件下加入 192.168.3.73 master 192.168.3.66 slave1 192.168.3.61 slave2 确保可以相互ping通 [root@host-192-168-3-.
Hadoop-HA 高可用集群搭建
m0_48379126的博客
10-08 438
core-site.xml <?xml version="1.0" encoding="UTF-8"?> <?xml-stylesheet type="text/xsl" href="configuration.xsl"?> <!-- Licensed under the Apache License, Version 2.0 (the "License"); you may not use this file except in compliance with
hadoop-HA搭建+hbase.docx
04-29
初学Hadoop时试验搭建很多次的集群部署方案，步骤很详细。hadoop-2.6.5.tar.gz zookeeper-3.4.10.tar.gz Hbase1.2.6 ,两个nameNode+三dataNode
Hadoop-HA(高可用 )集群搭建文档
04-09
基于Hadoop-HA(高可用 )集群搭建目录： 一．Hadoop集群IP以及角色分配表 2 二．安装软件 2 三. 基础环境部署 2 四．安装Hadoop 6 五．安装Zookeeper集群 7 六．配置高可用集群 8 七．启动相应的服务进程 12 八．测试...
Hadoop3以及高可用HA搭建方式.zip
07-10
搭建Hadoop3的高可用HA环境涉及以下步骤： 1. **环境准备**：安装Java运行环境，配置好主机名和IP映射，安装ZooKeeper服务，用于协调NameNode的状态切换。 2. **下载和解压Hadoop**：获取Hadoop3的安装包，将其...
hadoop高可用搭建文档
10-10
在大数据处理领域，Hadoop是不可或缺的核心组件，其高可用性（High Availability, HA）功能是确保服务不中断的关键。本篇文章将详细讲解如何搭建Hadoop的高可用环境，适用于生产环境，即使面对高版本的Hadoop，也...
hadoop高可用安装（HA）
CRL9948的博客
06-15 1058
高可用的hadoop安装HA写在开头安装步骤1.分发JDK1.1 安装jdk2.同步时间3.装机前的配置文件检查4.NN与其他三台机子的免秘钥设置 写在开头 本文配置前提是hadoop伪分布安装已完成。 hadoop高可用傻瓜式安装（傻瓜到大部分细节） 我们先介绍下高可用的hadoop一般需要什么？ 高可用的hadoop一般需要开启四台linux虚拟机，需要用7个节点做hadoop的HA。 其中3台做zookeeper集群，三台做journalnode集群，2台做失败切换zkfc，2台做namenode，三
Hadoop HA 高可用（重点详解）
weixin_48067943的博客
07-29 1363
文章目录四、Hadoop HA 高可用4.1 HA 概述4.2 HDFS-HA 工作机制4.2.1 HDFS-HA 工作要点4.2.2 HDFS-HA 自动故障转移工作机制4.3 HDFS-HA 集群配置4.3.1 环境准备4.3.2 规划集群4.3.3 配置 Zookeeper 集群4.3.4 配置 HDFS-HA 集群4.3.5 启动HDFS-HA集群4.3.6 配置 HDFS-HA 自动故障转移4.4 YARN-HA配置4.4.1 YARN-HA工作机制4.4.2 配置 YARN-HA 集群4.5 H
使用EasyExcel导出Excel抛异常 Can not close IO
热门推荐
永远相信美好的事情即将发生
04-12 2万+
在使用 EasyExcel 中的遇到的一个异常场景。由于不影响线上，而且抛出的异常比较古怪，所以拖了很久，今天终于找到问题原因了，这里做下总结。 Issue1872 背景 首先说明一下我遇到的异常的场景,我这里主要抛出的异常是 [Finalizer] WARN [com.alibaba.excel.ExcelWriter] ExcelWriter.java:342 - [] - Destroy object failed com.alibaba.excel.exception.ExcelGenerateEx
Hadoop集群版 高可用
qq_51903852的博客
11-04 302
所需脚本网址 jqop https://blog.csdn.net/qq_51903852/article/details/121120429 xsync https://blog.csdn.net/qq_51903852/article/details/121141166 zkop https://blog.csdn.net/qq_51903852/article/details/121120516 [root@mihaoyu152 install]# tar -zxvf hadoop-2.6.0-cd.
Hadoop搭建高可用集群（保姆级教程）
wanjialin的博客
11-04 4312
准备工作： 1、搭建完成zookeeper，如果没有搭建，请跳转到zookeeper集群搭建保姆级教程 2、集群的jdk都安装完成，如果没有，请跳转到linux编写个脚本快速搭建jdk保姆级教程 3、在/opt/install 下有Hadoop2.6.0的包 4、高可用集群搭建结构表 操作步骤： 1、首先对Hadoop包进行解压缩 [root@nnode2 install]# tar -zxf hadoop-2.6.0-cdh5.14.2.tar.gz -C /opt/soft/ 为了后期使用Hadoo
Flink+hadoop部署及Demo
Persistence___的博客
05-25 1911
上传并解压到3台服务器配置3台主机的hosts和免密登录。
Hadoop2.6.5搭建HA（高可用）
andyguan01_2的博客
03-20 1478
一、环境 操作系统：CentOS6.9 软件版本：Hadoop2.6.5，Zookeeper3.4.13 集群架构： 我手上有3台服务器，一台作为主NameNode，一台作为备NameNode和DataNode1，剩下一台作为DataNode2。也就是在3台服务器上面部署一主一备NameNode+两个DataNode。另外，由于JournalNode和ZK都至少为3个，且为奇数个，在3台服务器上面...
HDFS的HA机制
Enzo的探索之路
12-03 3953
简介 所谓HA，即高可用（7*24小时不中断服务），实现高可用最关键的是消除单点故障 hadoop-HA严格来说应该分成各个组件的HA机制——HDFS的HA、YARN的HA HDFS的HA机制架构 HDFS的HA机制详解 Hadoop2增加了对HDFS的HA支持，配置了一对活动-备用（active-standy）namenode，当活动namenode失效，备用namenode接管它的任务并开始...
Hadoop集群HA(高可用)搭建
jiandanbuguo的博客
09-15 220
本篇文章搭建搭建在hadoop集群和zookeeper集群基础之上，若hadoop集群没有搭建请参照：hadoop集群搭建，若zookeeper集群没有搭建，请参照：zookeeper集群搭建 一、修改配置文件 以下操作在主节点进行,首先进入hadoop目录：cd /opt/hadoop260 修改core-site.xml vi core-site.xml <configuration> <!-- 指定hdfs的nameservice为ns --> <proper
搭建Hadoop-2.5.2 HA集群详细步骤
"搭建Hadoop-2.5.2高可用(HA)集群的详细步骤" 在大数据处理领域，Hadoop是一个关键的开源框架，用于存储和处理海量数据。本文档将指导你如何构建一个包含7个节点的Hadoop大数据集群，该集群不仅包含Hadoop，还囊括...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值