Hadoop HA 部署

已于 2022-03-25 15:17:55 修改
阅读量1.1k 收藏 8
点赞数 2
分类专栏： 部署 文章标签： hadoop hdfs big data 运维 大数据
于 2022-03-10 16:11:31 首次发布
本文为 cpucode.blog.csdn.net 原创作品，欢迎转载，请保留出处，谢谢！
本文链接：https://blog.csdn.net/qq_44226094/article/details/123401032
版权

Hadoop HA 部署

Hadoop 规划集群

cpu101cpu102cpu103
HDFSNameNodeNameNodeNameNode
JournalNodeJournalNodeJournalNode
DataNodeDataNodeDataNode
ZKFCZKFCZKFC
YARNResourceManagerResourceManagerResourceManager
NodeManagerNodeManagerNodeManager
ZookeeperZookeeperZookeeperZookeeper

在这里插入图片描述

HA 集群部署

HA 集群准备

Hadoop 部署 :

https://blog.csdn.net/qq_44226094/article/details/122993590

创建文件(所有节点)

在 opt 目录下创建一个 ha 文件夹

sudo mkdir ha

在这里插入图片描述

修改 用户

sudo chown cpu:cpu ha

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

将 /opt/module/ 下的 hadoop-3.1.3 拷贝到 /opt/ha 目录下

cp -r /opt/module/hadoop-3.1.3 /opt/ha/

在这里插入图片描述

删除 data 和 logs , dfs 目录

rm -rf data/

rm -rf dfs/

rm -rf logs/

在这里插入图片描述

HDFS-HA 配置

配置 core-site.xml

/opt/ha/hadoop-3.1.3/etc/hadoop 文件中

vim core-site.xml

<configuration>
	<!-- 把多个 NameNode 的地址组装成一个集群 mycluster -->
	<property>
		<name>fs.defaultFS</name>
		<value>hdfs://mycluster</value>
	</property>
	<!-- 指定 hadoop 运行时产生文件的存储目录 -->
	<property>
		<name>hadoop.tmp.dir</name>
		<value>/opt/ha/hadoop-3.1.3/data</value>
	</property>

	<!-- 指定 zkfc 要连接的 zkServer 地址 -->
	<property>
		<name>ha.zookeeper.quorum</name>
		<value>cpu101:2181,cpu102:2181,cpu103:2181</value>
	</property>
	
	<!-- 配置 HDFS 网页登录使用的静态用户为 cpu -->
	<property>
		<name>hadoop.http.staticuser.user</name>
		<value>cpu</value>
	</property>


    <property>
        <name>hadoop.proxyuser.root.hosts</name>
        <value>*</value>
    </property>
    <property>
        <name>hadoop.proxyuser.root.groups</name>
        <value>*</value>
    </property>
    
    <property>
        <name>hadoop.proxyuser.HTTP.hosts</name>
        <value>*</value>
    </property>
    <property>
        <name>hadoop.proxyuser.HTTP.groups</name>
        <value>*</value>
    </property>

	<!-- 配置该cpu(superUser)允许通过代理访问的主机节点 -->
	<property>
		<name>hadoop.proxyuser.cpu.hosts</name>
		<value>*</value>
	</property>
	<!-- 配置该cpu(superUser)允许通过代理用户所属组 -->
	<property>
		<name>hadoop.proxyuser.cpu.groups</name>
		<value>*</value>
	</property>
	<!-- 配置该cpu(superUser)允许通过代理的用户-->
	<property>
		<name>hadoop.proxyuser.cpu.users</name>
		<value>*</value>
	</property>


	<!-- 解决 : JN 还启动不起来， NN 就会报错 -->
	<!-- NN 连接 JN 重试次数，默认是 10 次 -->
	<property>
		<name>ipc.client.connect.max.retries</name>
		<value>20</value>
	</property>
	<!-- 重试时间间隔，默认 1s -->
	<property>
		<name>ipc.client.connect.retry.interval</name>
		<value>5000</value>
	</property>

</configuration>

在这里插入图片描述

配置 hdfs-site.xml

vim hdfs-site.xml

<configuration>
	<!-- NameNode 数据存储目录 -->
	<property>
		<name>dfs.namenode.name.dir</name>
		<value>file://${hadoop.tmp.dir}/name</value>
	</property>
	<!-- DataNode 数据存储目录 -->
	<property>
		<name>dfs.datanode.data.dir</name>
		<value>file://${hadoop.tmp.dir}/data</value>
	</property>
	<!-- JournalNode 数据存储目录 -->
	<property>
		<name>dfs.journalnode.edits.dir</name>
		<value>${hadoop.tmp.dir}/jn</value>
	</property>
	
	<!-- 完全分布式集群名称 -->
	<property>
		<name>dfs.nameservices</name>
		<value>mycluster</value>
	</property>
	<!-- 集群中 NameNode 节点都有哪些 -->
	<property>
		<name>dfs.ha.namenodes.mycluster</name>
		<value>nn1,nn2,nn3</value>
	</property>
	
	<!-- NameNode 的 RPC 通信地址 -->
	<property>
		<name>dfs.namenode.rpc-address.mycluster.nn1</name>
		<value>cpu101:8020</value>
	</property>
	<property>
		<name>dfs.namenode.rpc-address.mycluster.nn2</name>
		<value>cpu102:8020</value>
	</property><property>
		<name>dfs.namenode.rpc-address.mycluster.nn3</name>
		<value>cpu103:8020</value>
	</property>
	
	<!-- NameNode 的 http 通信地址 -->
	<property>
		<name>dfs.namenode.http-address.mycluster.nn1</name>
		<value>cpu101:9870</value>
	</property>
	<property>
		<name>dfs.namenode.http-address.mycluster.nn2</name>
		<value>cpu102:9870</value>
	</property>
	<property>
		<name>dfs.namenode.http-address.mycluster.nn3</name>
		<value>cpu103:9870</value>
	</property>

    <!-- NameNode 的 https 通信地址 -->
    <property>
          <name>dfs.namenode.https-address.mycluster.nn1</name>
          <value>cpu101:9871</value>
    </property>
    <property>
          <name>dfs.namenode.https-address.mycluster.nn2</name>
          <value>cpu102:9871</value>
    </property>
    <property>
          <name>dfs.namenode.https-address.mycluster.nn2</name>
          <value>cpu103:9871</value>
    </property>

	<!-- 指定 NameNode 元数据在 JournalNode 上的存放位置 -->
	<property>
		<name>dfs.namenode.shared.edits.dir</name>
		<value>qjournal://cpu101:8485;cpu102:8485;cpu103:8485/mycluster</value>
		
	</property>
	<!-- 访问代理类： client 用于确定哪个 NameNode 为 Active -->
	<property>
		<name>dfs.client.failover.proxy.provider.mycluster</name>
		<value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
	</property>
	
	<!-- 配置隔离机制，即同一时刻只能有一台服务器对外响应 -->
	<property>
		<name>dfs.ha.fencing.methods</name>
		<value>sshfence</value>
	</property>
	<!-- 使用隔离机制时需要 ssh 秘钥登录-->
	<property>
		<name>dfs.ha.fencing.ssh.private-key-files</name>
		<value>/home/cpu/.ssh/id_rsa</value>
	</property>
	
	<!-- 启用 nn 故障自动转移 -->
	<property>
		<name>dfs.ha.automatic-failover.enabled</name>
		<value>true</value>
	</property>
	  
	<!-- datanode通信通过域名 -->
	<property>
		<name>dfs.client.use.datanode.hostname</name>
		<value>true</value>
	</property>

    <!-- HDFS副本的数量 3 -->
    <property>
        <name>dfs.replication</name>
        <value>3</value>
    </property>

</configuration>

在这里插入图片描述

配置 mapred-site.xml

vim mapred-site.xml

<configuration>
    <!-- 指定 MapReduce 程序运行在 Yarn 上 -->
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
    <!-- 历史服务器端地址 -->
    <property>
        <name>mapreduce.jobhistory.address</name>
        <value>cpu102:10020</value>
    </property>
    <!-- 历史服务器 web 端地址 -->
    <property>
        <name>mapreduce.jobhistory.webapp.address</name>
        <value>cpu102:19888</value>
    </property>
    
    <!-- 找到mapreduce -->
    <property>
        <name>yarn.app.mapreduce.am.env</name>
        <value>HADOOP_MAPRED_HOME=/opt/ha/hadoop-3.1.3</value>
    </property>
    <!-- 找到mapreduce -->
    <property>
        <name>mapreduce.map.env</name>
        <value>HADOOP_MAPRED_HOME=/opt/ha/hadoop-3.1.3</value>
    </property>
    <!-- 找到mapreduce -->
    <property>
        <name>mapreduce.reduce.env</name>
        <value>HADOOP_MAPRED_HOME=/opt/ha/hadoop-3.1.3</value>
    </property> 
</configuration>

在这里插入图片描述

YARN-HA 配置

在这里插入图片描述

配置 yarn-site.xml

vim yarn-site.xml

<configuration>
	<!-- 指定 MR 走 shuffle -->
	<property>
		<name>yarn.nodemanager.aux-services</name>
		<value>mapreduce_shuffle</value>
	</property>
	
	<!-- 启用 resourcemanager ha -->
	<property>
		<name>yarn.resourcemanager.ha.enabled</name>
		<value>true</value>
	</property>
	
	<!-- 声明两台 resourcemanager 的地址 -->
	<property>
		<name>yarn.resourcemanager.cluster-id</name>
		<value>cluster-yarn1</value>
	</property>
	
	<!--指定 resourcemanager 的逻辑列表-->
	<property>
		<name>yarn.resourcemanager.ha.rm-ids</name>
		<value>rm1,rm2,rm3</value>
	</property>
	
	<!-- ========== rm1 的配置 ========== -->
	<!-- 指定 rm1 的主机名 -->
	<property>
		<name>yarn.resourcemanager.hostname.rm1</name>
		<value>cpu101</value>
	</property>
	<!-- 指定 rm1 的 web 端地址 -->
	<property>
		<name>yarn.resourcemanager.webapp.address.rm1</name>
		<value>cpu101:8088</value>
	</property>
	<!-- 指定 rm1 的内部通信地址 -->
	<property>
		<name>yarn.resourcemanager.address.rm1</name>
		<value>cpu101:8032</value>
	</property>
	<!-- 指定 AM 向 rm1 申请资源的地址 -->
	<property>
		<name>yarn.resourcemanager.scheduler.address.rm1</name>
		<value>cpu101:8030</value>
	</property>
	<!-- 指定供 NM 连接的地址 -->
	<property>
		<name>yarn.resourcemanager.resource-tracker.address.rm1</name>
		<value>cpu101:8031</value>
	</property>
	
	<!-- ========== rm2 的配置 ========== -->
	<!-- 指定 rm2 的主机名 -->
	<property>
		<name>yarn.resourcemanager.hostname.rm2</name>
		<value>cpu102</value>
	</property>
	<property>
		<name>yarn.resourcemanager.webapp.address.rm2</name>
		<value>cpu102:8088</value>
	</property>
	<property>
		<name>yarn.resourcemanager.address.rm2</name>
		<value>cpu102:8032</value>
	</property>
	<property>
		<name>yarn.resourcemanager.scheduler.address.rm2</name>
		<value>cpu102:8030</value>
	</property>
	<property>
		<name>yarn.resourcemanager.resource-tracker.address.rm2</name>
		<value>cpu102:8031</value>
	</property>
	
	<!-- ========== rm3 的配置 ========== -->
	<!-- 指定 rm1 的主机名 -->
	<property>
		<name>yarn.resourcemanager.hostname.rm3</name>
		<value>cpu103</value>
	</property>
	<!-- 指定 rm1 的 web 端地址 -->
	<property>
		<name>yarn.resourcemanager.webapp.address.rm3</name>
		<value>cpu103:8088</value>
	</property>
	<!-- 指定 rm1 的内部通信地址 -->
	<property>
		<name>yarn.resourcemanager.address.rm3</name>
		<value>cpu103:8032</value>
	</property>
	<!-- 指定 AM 向 rm1 申请资源的地址 -->
	<property>
		<name>yarn.resourcemanager.scheduler.address.rm3</name>
		<value>cpu103:8030</value>
	</property>
	<!-- 指定供 NM 连接的地址 -->
	<property>
		<name>yarn.resourcemanager.resource-tracker.address.rm3</name>
		<value>cpu103:8031</value>
	</property>
	
	
	<!-- 指定 zookeeper 集群的地址 -->
	<property>
		<name>yarn.resourcemanager.zk-address</name>
		<value>cpu101:2181,cpu102:2181,cpu103:2181</value>
	</property>
	
	<!-- 指定 resourcemanager 的状态信息存储在 zookeeper 集群 -->
	<property>
		<name>yarn.resourcemanager.store.class</name>
		<value>org.apache.hadoop.yarn.server.resourcemanager.recovery.ZKRMStateStore</value>
	</property>

	<!-- 启用自动恢复 -->
	<property>
		<name>yarn.resourcemanager.recovery.enabled</name>
		<value>true</value>
	</property>
    <!-- ResourceManager 启用工作保留恢复 -->
    <property>
        <name>yarn.resourcemanager.work-preserving-recovery.enabled</name>
        <value>true</value>
    </property>


    <!-- RM保留的已完成应用程序的最大数量 -->
    <property>
        <name>yarn.resourcemanager.max-completed-applications</name>
        <value>1000</value>
    </property>
    <!-- RM状态存储保留的最大已完成应用程序数 -->
    <property>
        <name>yarn.resourcemanager.state-store.max-completed-applications</name>
        <value>1000</value>
    </property>


    <!-- nodemanager重启时恢复状态，启用该功能时必须配置nodemanager端口号(不配置的话就是每次重启yarn时随机生成端口号，两次端口号不同就会导致恢复失败) -->
    <property>
        <name>yarn.nodemanager.recovery.enabled</name>
        <value>true</value>
    </property>
    
    <!-- 启用恢复时节点管理器将在其中存储状态的本地文件系统目录 -->
    <property>
        <name>yarn.nodemanager.recovery.dir</name>
        <value>/opt/ha/hadoop-3.1.3/tmp/yarn-nm-recovery</value>
    </property>



	<!-- 开启日志聚集功能 -->
	<property>
		<name>yarn.log-aggregation-enable</name>
		<value>true</value>
	</property>
	
	<!-- 设置日志聚集服务器地址 -->
	<property>
		<name>yarn.log.server.url</name>
		<value>http://cpu102:19888/jobhistory/logs</value>
	</property>
	
	<!-- 设置日志保留时间为 7 天 -->
	<property>
		<name>yarn.log-aggregation.retain-seconds</name>
		<value>604800</value>
	</property>



    <!-- 每个任务最小可用内存 -->
    <property>
        <name>yarn.scheduler.minimum-allocation-mb</name>
        <value>1024</value>
    </property>
    <!-- 每个任务最多可用内存, 默认8182MB -->
    <property>
        <name>yarn.scheduler.maximum-allocation-mb</name>
        <value>8192</value>
    </property>

    <!-- 物理内存和虚拟内存比率 -->
    <property>
        <name>yarn.nodemanager.vmem-pmem-ratio</name>
        <value>2.1</value>
    </property>


	<!-- 环境变量的继承 -->
	<property>
		<name>yarn.nodemanager.env-whitelist</name>
		<value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME</value>
	</property>

</configuration>

在这里插入图片描述

分发

xsync hadoop-3.1.3/

在这里插入图片描述

运行 HA

配置环境变量

将 HADOOP_HOME 环境变量更改到 HA 目录(三台机器)

sudo vim /etc/profile.d/my_env.sh

#HADOOP_HOME
export HADOOP_HOME=/opt/ha/hadoop-3.1.3
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin

在这里插入图片描述

source /etc/profile

分发 :

sudo /home/cpu/bin/xsync /etc/profile.d/my_env.sh

在这里插入图片描述

启动 namenode

启动 journalnode 服务 ( 所有节点 )

hdfs --daemon start journalnode

在这里插入图片描述

格式化 namenode

hdfs namenode -format

在这里插入图片描述

启动 nn1

hdfs --daemon start namenode

同步 nn1 的元数据信息

cpu101 中

hdfs namenode -bootstrapStandby

cpu102 中

hdfs namenode -bootstrapStandby

在这里插入图片描述

在这里插入图片描述

cpu102 中

hdfs --daemon start namenode

在这里插入图片描述

cpu103 中

hdfs --daemon start namenode

在这里插入图片描述

将[nn1]切换为 Active

hdfs haadmin -transitionToActive nn1

查看是否 Active

hdfs haadmin -getServiceState nn1

初始化 HA 在 Zookeeper 中状态

关闭所有 HDFS 服务

stop-dfs.sh

在这里插入图片描述

保证 ZooKeeper 启动

https://blog.csdn.net/qq_44226094/article/details/123119682

zk.sh start

在这里插入图片描述

初始化 HA 在 Zookeeper 中状态

hdfs zkfc -formatZK

在这里插入图片描述

启动 HA 服务脚本

vim myhadoopHa.sh

内容 :

#!/bin/bash

if [ $# -lt 1 ]
then
        echo "No Args Input..."
        exit ;
fi

case $1 in
"start")
        echo " =================== 启动 hadoop HA 集群 ==================="

        echo " --------------- 启动 hdfs ---------------"
        ssh cpu101 "/opt/ha/hadoop-3.1.3/sbin/start-dfs.sh"
        echo " --------------- 启动 yarn ---------------"
        ssh cpu101 "/opt/ha/hadoop-3.1.3/sbin/start-yarn.sh"
        echo " --------------- 启动 historyserver ---------------"
        ssh cpu102 "/opt/ha/hadoop-3.1.3/bin/mapred --daemon start historyserver"
;;
"stop")
        echo " =================== 关闭 hadoop HA 集群 ==================="

        echo " --------------- 关闭 historyserver ---------------"
        ssh cpu102 "/opt/ha/hadoop-3.1.3/bin/mapred --daemon stop historyserver"
        echo " --------------- 关闭 yarn ---------------"
        ssh cpu101 "/opt/ha/hadoop-3.1.3/sbin/stop-yarn.sh"
        echo " --------------- 关闭 hdfs ---------------"
        ssh cpu101 "/opt/ha/hadoop-3.1.3/sbin/stop-dfs.sh"
;;
*)
        echo "Input Args Error..."
;;
esac

在这里插入图片描述

授权 :

chmod 777 myhadoopHa.sh

在这里插入图片描述

分发

xsync ~/bin/myhadoopHa.sh

在这里插入图片描述

启动服务

myhadoopHa.sh start

在这里插入图片描述

QuorumException: Got too many exceptions to achieve quorum size 2/3 解决方案

https://blog.csdn.net/qq_44226094/article/details/123408901

查看服务状态

查看 namenode 状态

hdfs haadmin -getServiceState nn1

在这里插入图片描述

查看

yarn rmadmin -getServiceState rm1

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

测试 HA

Operation category READ is not supported in state standby 解决方案 :

https://blog.csdn.net/qq_44226094/article/details/123419924

创建目录

hadoop fs -mkdir /input

在这里插入图片描述

上传文件

hadoop fs -put wcinput/word.txt /input

在这里插入图片描述

删除 HDFS 上已经存在的输出文件

hadoop fs -rm -r /output

在这里插入图片描述

执行 wordcount 程序

hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar wordcount /input /output

在这里插入图片描述

查看内容

hadoop fs -ls /output

hadoop fs -cat /output/part-r-00000

在这里插入图片描述

将 Active NameNode 进程 kill

kill -9 namenode 的进程 id

kill -9 resourcemanager 的进程 id
cpuCode
关注
  • 2
    点赞
  • 踩
  • 8
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Hadoop-HA集群安装部署
RomanyK的博客
04-21 4193
HA高可用集群安装部署 两台主节点一台从节点（即一台active、一台standby，条件允许也可配多台standby）解决单点故障
hadoop——HA集群部署
m0_65809235的博客
06-28 1155
各节点布置NameNodeDataNodeNameNodeDataNode。
Hadoop之Ha高可用搭建教程_启动hadoop高可用集群
2401_84181606的博客
04-11 466
slave2。
Hadoop的集群搭建（HA），HDFS的工作流程（读、写、nn和snn）、负载均衡、安全模式、基本配置、命令等
xrl00的博客
06-15 1711
Hadoop的集群搭建（HA），HDFS的工作流程（读、写、nn和snn）、负载均衡、安全模式、基本配置、命令等
hadoop系列(二)HA高可用方式部署
qq_38130094的博客
12-13 2496
hadoop系列(一)hadoop集群安装hadoop系列(二)HA高可用方式部署hadoop系列(三) HDFS的shell操作和常用API操作hadoop系列(四)HDFS的工作机制，MapReduce，yarn流程及核心原理hadoop系列(五)input和output主节点(nameNode节点)与其他从节点具备ssh免密登录环境HOSTNameNodeSNNDNZKFCZKnode01√√node02√√√√√。
Hadoop HA部署
weixin_30369087的博客
04-01 66
因为公司旧系统的Hadoop版本是2.2,所以在部署新系统时使用了旧系统. 但是在部署ResourceManager auto failover时发现其他nodemanager总是向0.0.0.0请求连接, 后来才发现2.2只支持HDFS HA, resourcemanager在2.4才支持, 哭晕在厕所. 转载于:https://www.cnblogs.com/jiaorenyu/p/5...
Hadoop HA 部署步骤
03-14
这是Hadoop HA的高可用性环境配置步骤，需要提前配置好Hadoop和zookeeper，按照上面的步骤就可以配置HA。
HadoopHA集群部署、规划HadoopHA集群教学课件.pptx
06-20
Hadoop HA 集群部署模式 什么是 HA ? HA是High Availability的简写,即高可用，指当前工作中的机器宕机后，会自动处理这个异常，并将工作无缝地转移到其他备用机器上去，以来保证服务的高可用。（简言之，有两台机器...
HadoopHA集群部署、YARNHA测试Job教学课件.pptx
06-20
YARN HA 测试Job YARN HA 测试Job 序号 任务名称 任务一 准备MapReduce输入文件 任务二 将输入文件上传到HDFS 任务三 运行MapReduce程序测试Job 任务一 准备MapReduce输入文件 在master主节点，使用 root 用户登录，...
HadoopHA集群部署、YARNHA配置、启动与验证教学课件.pptx
06-20
YARN HA 配置、启动与验证;YARN HA 配置、启动与验证;任务一 配置SSH无密钥登录（slave2为主节点）;任务二 修改yarn-site.xml配置文件（一）;任务二 修改yarn-site.xml配置文件（二）;任务二 修改yarn-site.xml配置...
Hadoop HA 高可用之旅
记录点点滴滴
11-19 992
Hadoop HA 高可用之旅概述HDFS-HA 集群搭建HDFS-HA 核心问题HDFS-HA 手动模式环境准备规划集群配置 HDFS-HA 集群启动 HDFS-HA 集群HDFS-HA 自动模式HDFS-HA 自动故障转移工作机制HDFS-HA 自动故障转移的集群规划配置 HDFS-HA 自动故障转移解决 NN 连接不上 JN 的问题YARN-HA 配置YARN-HA 工作机制配置 YARN-HA 集群环境准备规划集群核心问题具体配置启动 YARNHADOOP HA 的最终规划 概述 所谓 HA（Hig
Hbase分布式安装部署
05-08 488
Hbase是一个开源的分布式的NoSql数据库，采用列式存储，可支持数十亿行、百万列的数据存储和检索。由于其高效的读写性能，被广泛应用于大数据领域非结构化数据的存储和快速检索场景。Hbase采用Master/Slave模式，集群由一到多个Master组成，Master做为管理节点，一般不存储数据。多个Slave节点做为数据存储节点，受master管理。
HBase 分布式部署
记录点点滴滴
03-11 1194
Nginx 1.1. nginx概述 (Nginx engine x)是—个高性能的HTP和反向代理服务器特点是占有内存少 并发能力强,事实上 nginx的并发能力确实在同类型的网页服务器中表现较好,中囯大 陆使用 nginx网站用户有:百度、京东、新浪、网易、腾讯、淘宝等 官网:ptt:/ nginx. org/ ...
hadoop分布式集群部署步骤总结
JimGray的博客
04-25 1万+
一、理论基础( 一) 　HA 概念以及作用 　　HA(High Available), 高可用性群集，是保证业务连续性的有效解决方案，一般有两个或两个以上的节点，且分为活动节点及备用节点。通常把正在执行业务的称为活动节点，而作为活动节点的一个备份的则称为备用节点。当活动节点出现问题，导致正在运行的业务（任务）不能正常运行时，备用节点此时就会侦测到，并立即接续活动节点来执行业务。从而实现业务的不中断
关于Hadoop-HA的配置---从零开始
lsr40的博客
08-14 1万+
写在文前，可能我说的有不对的地方，希望各位老鸟批评指正，本着虚心接受的态度分享这篇文章！ 关于hadoop-ha大家配置的时候可能会遇到这样或者那样的报错，实在很让人头疼，因为操作有点多，也很多人不知道到底要执行的步骤顺序，今天给大家分享一下自己的愚见，我的hadoop是2.5.0的版本。 我们来看看，HA的原理图： 我的集群规划是： PC01 PC02 PC03 NameN
4、Hadoop高级之HDFS&YARN HA部署
03-31 241
Hadoop HA模拟搭建集群条件准备： 3台虚拟机centos7 64位 hadoop-2.6.0-cdh5.7.0.tar.gz jdk-8u45-linux-x64.gz zookeeper-3.4.6.tar.gz 本地搭建虚拟机；我们采用.net内网模式 hadoop01 ...
Hadoop HDFS高可用性(HA) 部署篇
再难也要坚持的博客
12-17 1608
Hadoop HDFS高可用性(HA) 部署篇
GitChat·大数据 | 史上最详细的Hadoop环境搭建
热门推荐
技术杂谈
09-05 4万+
GitChat 作者：鸣宇淳 Hadoop在大数据技术体系中的地位至关重要，Hadoop是大数据技术的基础，对Hadoop基础知识的掌握的扎实程度，会决定在大数据技术道路上走多远。这是一篇入门文章，Hadoop的学习方法很多，网上也有很多学习路线图。
托马斯库涛 四十九hadoop HA部署
最新发布
06-15
托马斯库涛（Thomas Kuo）是一位知名的IT专家，尤其在大数据和分布式计算领域具有深厚的知识。Hadoop High Availability (HA) 部署是他在Hadoop生态系统中常常被讨论的话题。Hadoop HA是指在Hadoop集群中实现高可用性，即使有节点故障也能保证数据处理和服务的连续性。 Hadoop HA部署主要包括以下几个关键组件和步骤： 1. NameNode HA: 它通常包括两个或更多的NameNode实例，如Active-Active模式，其中一个作为主NameNode处理写操作，另一个作为热备。如果主NameNode失败，备份立即接管。 2. DataNode HA: DataNode是存储实际数据的节点，通过心跳检测和数据复制机制，保证数据的冗余和可靠性。 3. ResourceManager HA: YARN中的ResourceManager也有高可用版本，通过Fencing、Standby模式来管理资源调度。 4. Quorum Journal Node (QJM): 用于HDFS JournalNode的高可用，确保元数据的一致性。 5. ZKFC（ZooKeeper Failover Controller）: 在Hadoop HA中，ZooKeeper用于协调这些服务的切换。 在部署过程中，需要配置文件的调整、网络通信的设置、健康检查策略等，并可能涉及到如ZooKeeper的配置、HDFS的参数优化等细节。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值