配置Hadoop2.xx的高可用（Hadoop2.0 HA）

最新推荐文章于 2022-11-25 14:11:38 发布
最新推荐文章于 2022-11-25 14:11:38 发布
阅读量496 收藏 1
点赞数
分类专栏： Hadoop 文章标签： hadoop HA
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/yangzhiyouvl/article/details/52206001
版权

配置Hadoop2.xx的高可用（Hadoop2.0 HA）

在Hadoop2.0以前，由于只有一个NameNode，存在单点故障的问题；在Hadoop2.0中的HA解决了该问题。hadoop2.0中HDFS的高可靠指的是可以同时启动2个NameNode。其中一个处于工作状态，另一个处于随时待命状态。这样，当一个NameNode所在的服务器宕机时，可以在数据不丢失的情况下，手工或者自动切换到另一个NameNode提供服务。 

本文主要说明Hadoop的HA的配置。

前提

1、zookeeper集群配置

zookeeper的配置相对简单，当有点需要说明：集群个数最好为单数台，不然无法选出leader，若你的集群中有偶数台服务器，那么有一台就不配置zookeeper即可。

2、配置Hadoop的HA

关于准备工作请参考我的博文：Hadoop2.7.2完全分布式配置。

配置core-site.xml文件

<configuration> 

<!-- 指定hdfs的nameservices名称为mycluster，与hdfs-site.xml的HA配置相同 -->  

<property>  

<name>fs.defaultFS</name>  

<value>hdfs://mycluster</value>  

</property>  

 <!-- 指定缓存文件存储的路径 -->  

 <property>  

<name>hadoop.tmp.dir</name>  

<value>/home/hadoop/hadoop-2.7.2/data/tmp</value>  

</property>  

<!-- 配置hdfs文件被永久删除前保留的时间（单位：分钟），默认值为0表明垃圾回收站功能关闭 -->  

<property>  

 <name>fs.trash.interval</name>  

 <value>1440</value>  

</property>  

<!-- 指定zookeeper地址，配置HA时需要 -->  

<property>  

 <name>ha.zookeeper.quorum</name>  

 <value>slave1:2181,slave2:2181, slave3:2181,master1:2181, master2:2181</value>  

</property>

</configuration> 

 配置hdfs-site.xml文件

<configuration>  

<!— 指定hdfs元数据存储的路径 -->  

<property>  

 <name>dfs.namenode.name.dir</name>  

 <value>/home/hadoop/hadoop-2.7.2/data/namenode</value>  

</property> 

<!-- 指定hdfs数据存储的路径 -->  

<property>  

<name>dfs.datanode.data.dir</name>  

<value>/home/hadoop/hadoop-2.7.2/data/datanode</value>  

</property>  

<!-- 数据备份的个数 -->  

<property>  

<name>dfs.replication</name>  

<value>3</value>  

</property>  

<!-- 关闭权限验证 -->  

<property>  

<name>dfs.permissions.enabled</name>  

<value>false</value>  

</property>  

<!-- 开启WebHDFS功能（基于REST的接口服务） -->  

<property>  

 <name>dfs.webhdfs.enabled</name>  

 <value>true</value>  

</property>  

<!-- 以下为HDFS HA部分的配置 -->  

<!-- 指定hdfs的nameservices名称为mycluster -->  

<property>  

  <name>dfs.nameservices</name>  

  <value>mycluster</value>  

</property>  

<!-- 指定mycluster的两个namenode的名称分别为nn1,nn2 -->  

<property>  

  <name>dfs.ha.namenodes.mycluster</name>  

  <value>nn1,nn2</value>  

</property>  

<!-- 配置nn1,nn2的rpc通信端口 -->  

<property>  

  <name>dfs.namenode.rpc-address.mycluster.nn1</name>  

  <value>master1:8020</value>  

</property>  

<property>  

  <name>dfs.namenode.rpc-address.mycluster.nn2</name>  

  <value>master2:8020</value>  

</property>  

<!-- 配置nn1,nn2的http通信端口 -->  

   <property>  

 <name>dfs.namenode.http-address.mycluster.nn1</name>  

 <value>master1:50070</value>  

</property>  

<property>  

 <name>dfs.namenode.http-address.mycluster.nn2</name>  

 <value>master2:50070</value>  

</property>  

<!-- 指定namenode元数据存储在journalnode中的路径 -->  

<property>  

 <name>dfs.namenode.shared.edits.dir</name>  

 <value>qjournal://slave1:8485;slave2:8485;slave3:8485/mycluster</value>  

</property>  

<!-- 指定journalnode日志文件存储的路径 -->  

<property>  

 <name>dfs.journalnode.edits.dir</name>  

 <value> /home/hadoop/hadoop-2.7.2/data/journal</value>  

</property>  

<!-- 指定HDFS客户端连接active namenode的java类 -->  

<property>  

 <name>dfs.client.failover.proxy.provider.mycluster</name>  

<value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>  

</property>  

<!-- 配置隔离机制为ssh -->  

<property>  

 <name>dfs.ha.fencing.methods</name>  

 <value>sshfence</value>  

</property>  

<!-- 指定秘钥的位置 -->  

<property>  

 <name>dfs.ha.fencing.ssh.private-key-files</name>  

 <value>/home/hadoop/.ssh/id_rsa</value>  

</property>  

<!-- 开启自动故障转移 -->  

<property>  

 <name>dfs.ha.automatic-failover.enabled</name>  

 <value>true</value>  

</property>  

</configuration> 

配置mapred-site.xml文件

<configuration>  

<!-- 指定MapReduce计算框架使用YARN -->  

<property>  

<name>mapreduce.framework.name</name>  

<value>yarn</value>  

</property>  

<!-- 指定jobhistory server的rpc地址 -->  

<property>  

<name>mapreduce.jobhistory.address</name>  

<value>hadoop-master1:10020</value>  

</property>    

<!-- 指定jobhistory server的http地址 -->  

<property>  

<name>mapreduce.jobhistory.webapp.address</name>  

<value>hadoop-master1:19888</value>  

</property>  

<!-- 开启uber模式（针对小作业的优化） -->  

<property>  

<name>mapreduce.job.ubertask.enable</name>  

<value>true</value>  

</property>  

<!-- 配置启动uber模式的最大map数 -->  

<property>  

<name>mapreduce.job.ubertask.maxmaps</name>  

<value>9</value>  

</property>  

<!-- 配置启动uber模式的最大reduce数 -->  

<property>  

<name>mapreduce.job.ubertask.maxreduces</name>  

<value>3</value>  

</property>  

</configuration>

配置yarn-site.xml文件

<configuration>  

<!-- NodeManager上运行的附属服务，需配置成mapreduce_shuffle才可运行MapReduce程序 -->  

<property>  

    <name>yarn.nodemanager.aux-services</name>  

    <value>mapreduce_shuffle</value>  

</property>     

<!-- 配置Web Application Proxy安全代理（防止yarn被攻击） -->  

<property>  

    <name>yarn.web-proxy.address</name>  

    <value>hadoop-master2:8888</value>  

</property>  

<!-- 开启日志 -->  

<property>  

    <name>yarn.log-aggregation-enable</name>  

    <value>true</value>  

</property>  

<!-- 配置日志删除时间为7天，-1为禁用，单位为秒 -->  

<property>  

    <name>yarn.log-aggregation.retain-seconds</name>  

    <value>604800</value>  

</property>  

<!-- 修改日志目录 -->  

<property>  

    <name>yarn.nodemanager.remote-app-log-dir</name>  

    <value>/logs</value>  

</property>  

<!-- 配置nodemanager可用的资源内存 -->  

<property>  

    <name>yarn.nodemanager.resource.memory-mb</name>  

    <value>2048</value>  

</property>  

<!-- 配置nodemanager可用的资源CPU -->  

<property>  

    <name>yarn.nodemanager.resource.cpu-vcores</name>  

    <value>2</value>  

</property>  

<!-- 以下为YARN HA的配置 -->  

<!-- 开启YARN HA -->  

<property>  

    <name>yarn.resourcemanager.ha.enabled</name>  

    <value>true</value>  

</property>  

<!-- 启用自动故障转移 -->  

<property>  

    <name>yarn.resourcemanager.ha.automatic-failover.enabled</name>  

    <value>true</value>  

</property>  

<!-- 指定YARN HA的名称 -->  

<property>  

    <name>yarn.resourcemanager.cluster-id</name>  

    <value>yarncluster</value>  

</property>  

<!-- 指定两个resourcemanager的名称 -->  

<property>  

    <name>yarn.resourcemanager.ha.rm-ids</name>  

    <value>rm1,rm2</value>  

</property>     

<!-- 配置rm1，rm2的主机 -->  

<property>  

    <name>yarn.resourcemanager.hostname.rm1</name>  

    <value>master1</value>  

</property>  

<property>  

    <name>yarn.resourcemanager.hostname.rm2</name>  

    <value>master2</value>  

</property>  

<!-- 配置YARN的http端口 -->  

<property>  

    <name>yarn.resourcemanager.webapp.address.rm1</name>  

    <value>master1:8088</value>  

</property>   

<property>  

    <name>yarn.resourcemanager.webapp.address.rm2</name>  

    <value>master2:8088</value>  

</property>  

<!-- 配置zookeeper的地址 -->  

<property>  

    <name>yarn.resourcemanager.zk-address</name>  

    <value>slave1:2181,slave2:2181,slave3:2181</value>  

</property>  

<!-- 配置zookeeper的存储位置 -->  

<property>  

    <name>yarn.resourcemanager.zk-state-store.parent-path</name>  

    <value>/rmstore</value>  

</property>  

<!-- 开启yarn resourcemanager restart -->  

<property>  

    <name>yarn.resourcemanager.recovery.enabled</name>  

    <value>true</value>  

</property>  

<!-- 配置resourcemanager的状态存储到zookeeper中 -->  

<property>  

<name>yarn.resourcemanager.store.class</name>      

<value>org.apache.hadoop.yarn.server.resourcemanager.recovery.ZKRMStateStore</value>  

</property>  

<!-- 开启yarn nodemanager restart -->  

<property>  

    <name>yarn.nodemanager.recovery.enabled</name>  

    <value>true</value>  

</property>  

<!-- 配置nodemanager IPC的通信端口 -->  

<property>  

    <name>yarn.nodemanager.address</name>  

    <value>0.0.0.0:45454</value>  

</property>  

</configuration>

配置slaves文件

$ vim slaves

slave1

slave2

slave3

修改hadoop-env.sh文件及yarn-env.sh

$ cd/home/hadoop/hadoop-2.7.2/etc/hadoop

$ vim hadoop-env.sh（yarn-env.sh）

exportJAVA_HOME=/home/hadoop/app/jdk1.7.0_79

杨智友
关注
专栏目录
全网最详细的小白Hadoop2.0 HA环境搭建完整版
weixin_43813099的博客
09-09 828
我不要在失败孤独中死去，也不要一直活在地下里 Hadoop 2.0 HA搭建 （根据官方文档简单理解） 官方文档地址：点我，懒得看文档的就看我粗糙的见解，写的不好不要砍我，哈哈哈 一、Hadoop HA（高可用的简单介绍） 1.为什么需要搭建HA？ 在Hadoop 2.0.0之前，NameNode是HDFS集群中的单点故障（SPOF）。每个集群只有一个NameNode，如果该计算机或进程不可用，则整个在整个NameNode重新启动或在另一台计算机上启动之前将不可用。 这从两个主要方面影响了HDFS群集的总可
（六）使用Ansible搭建分布式大数据基础环境-Hadoop高可用集群搭建
workwithwebis3w的专栏
07-05 2285
“使用Ansible搭建分布式大数据基础环境”系列文章完整包含了如何使用Ansible这一分布式运维利器，来帮我们快速搭建Hadoop2/Spark2/Hive2/ZooKeeper3/Flink1.7/ElasticSearch5等一整套大数据解决方案。本篇是系列文章的第六篇。更多后续文章敬请关注后续文章。
hadoop HA配置文件说明
ArmandXu的专栏
01-19 1357
HA集群需要使用nameservice ID区分一个HDFS集群。另外，HA中还要使用一个词，叫做NameNode ID。同一个集群中的不同NameNode，使用不同的NameNode ID区分。为了支持所有NameNode使用相同的配置文件，因此在配置参数中，需要把“nameservice ID”作为NameNode ID的前缀。   HA配置内容是在文件hdfs-site.xml中
Hadoop2.7.2之集群搭建（高可用）
_阿坤的博客
05-25 1万+
如果你还没有虚拟机，请参考：http://blog.csdn.net/uq_jin/article/details/51355124 如果你还没有试过单机模式，请参考：http://blog.csdn.net/uq_jin/article/details/51451995 如果你还没有试过集群模式，请参考：http://blog.csdn.net/uq_jin/article/details
hadoop2.0配置
weixin_33836874的博客
12-17 103
为什么80%的码农都做不了架构师？>>> ...
Hadoop2.5.2 HA高可靠性集群搭建(Hadoop+Zookeeper)
xiatianba的专栏
07-13 234
一.概述 转载请出自出处：http://eksliang.iteye.com/blog/2226986 1.1 hadoop1.0的单点问题 Hadoop中的NameNode好比是人的心脏，非常重要，绝对不可以停止工作。在hadoop1时代，只有一个NameNode。如果该NameNode数据丢失或者不能工作，那么整个集群就不能恢复了。这是hadoop1中的单点问题，也是hadoop1不...
CDH-5.XX 离线安装及升级步骤及安装过程常见错误.txt
06-14
3. **高可用性**：CDH支持多种HA模式，确保关键服务的持续运行。 4. **安全性增强**：CDH提供了Kerberos认证、SSL加密等安全特性，保障数据安全。 5. **兼容性和稳定性**：CDH经过严格的测试，确保与Apache Hadoop的...
3.1.4 YARN资源调度、Apache Hadoop 核心源码剖析、调优、Hadoop二次开发
weixin_47134119的博客
01-27 1602
3.1.4 YARN资源调度、Apache Hadoop 核心源码剖析 文章目录3.1.4 YARN资源调度、Apache Hadoop 核心源码剖析七、YARN资源调度7.1 Yarn架构7.2 Yarn任务提交(工作机制)7.3 Yarn调度策略7.4Yarn多租户资源隔离配置八、Apache Hadoop 核心源码剖析8.1 源码阅读准备8.2 NameNode 启动流程 七、YARN资源调度 7.1 Yarn架构 ResourceManager(rm)：处理客户端请求、启动/监控Ap
HAWQ从0.5开始安装说明.包含hadoop和hawq
zhaohangzhi的博客
06-12 503
文档是从云笔记中复制,一些超链接,图片或者字体颜色可能已失效 零.前提 一.安装hadoop 1.1下载并复制hadoop2.6.5 1.2编辑系统配置文件 1.3创建hadoop的tmp临时目录 1.4开始修改配置文件 1.5复制hadoop到其他所有节点上 1.6开始初始化hadoop 1.7 如果服务器重启了,开机时程序的启动顺序 二.安装HAWQ 2.1降低hdfs根目录权限限制 2.2修改系统配置,在所有节点上执行 2.3新建账户postgres,在所有节点上执行 2.
Hadoop学习与使用
lyd882的博客
06-12 1232
Hadoop基础 1. 大数据解决方案 Hadoop是一个开源框架，它允许在整个集群使用简单编程模型计算机的分布式环境存储并处理大数据。它的目的是从单一的服务器到上千台机器的扩展，每一个台机都可以提供本地计算和存储。 “90％的世界数据在过去的几年中产生”。 由于新技术，设备和类似的社交网站通信装置的出现，人类产生的数据量每年都在迅速增长。美国从一开始的时候到2003年产生的数据量为5十亿千兆字节。如果以堆放的数据磁盘的形式，它可以填补整个足球场。在2011年创建相同数据量只需要两天，在2013年该速
Hadoop2.0的HA介绍
红豆和绿豆的博客
01-19 528
1 概述  在hadoop2.0之前，namenode只有一个，存在单点问题（虽然hadoop1.0有secondarynamenode，checkpointnode，buckcupnode这些，但是单点问题依然存在），在hadoop2.0引入了HA机制。hadoop2.0的HA机制官方介绍了有2种方式，一种是NFS（Network File System）方式，另外一种是QJM（Quoru
Hadoop 2.0 HA高可用集群安装配置
08-29 1090
**注意：本文步骤完全参考阳光奶爸的博文,有些部分根据我自己的理解进行了修改和补充。 http://blog.csdn.net/carl810224/article/details/52160418 自己搭建成功，记录下来作为作业笔记。 **一.高可用集群规划 主机名 IP地址 安装的软件
Android解决HAXM安装的问题
热门推荐
w2865673691的专栏
01-17 1万+
新版的Android模拟器需要先安装HAXM才能顺畅的使用。否则会出现如下报错： emulator: ERROR: x86 emulation currently requires hardware acceleration! Please ensure Intel HAXM is properly installed and usable. CPU acceleration status: H
VMware下Hbase完全分布式安装(Vmware15+Centos8+hadoop3.1.3+hbase2.2.4)
weixin_44027035的博客
06-16 1945
一、Vmware15安装 Vmware15安装包链接，挂了在我的资源里有，免费 链接：https://pan.baidu.com/s/1LovaB3lrPQEiW101C_hK6g 提取码：cs85 Vmware15许可证，挂了百度多的是 AU15A-6XZEH-0891Q-LGYXV-YG0ZF CF50K-A1E5P-0885Z-9YMGC-QC0R6 YA352-06ZD2-M8D7Q-HPZXZ-W3RC0 FG3DK-2PE85-H80AP-FGZEZ-XGUT2 ZA1JK-26E1H-
java下Class.forName的作用是什么，为什么要使用它?
jessieca的专栏
11-15 1123
Class.forName(xxx.xx.xx) 返回的是一个类首先你要明白在java里面任何class都要装载在虚拟机上才能运行。这句话就是装载类用的(和new 不一样，要分清楚)。 至于什么时候用，你可以考虑一下这个问题，给你一个字符串变量，它代表一个类的包名和类名，你怎么实例化它？只有你提到的这个方法了，不过要再加一点。 A a = (A)Class.forName("pacage.A"
关于“xx.xx已被OS X使用，无法打开”的问题
IF
03-12 3033
关于“xx.xx已被OS X使用，无法打开”的问题 Mac电脑上的文件拷贝到移动硬盘，有时候会出现“xx.xx已被OS X使用，无法打开”的问题。 解决办法： 1、打开终端(或在Mac搜索里面输入Terminal); 2、在终端里输入 xattr -l ，然后把出问题的文件拖动到 "xattr -l 后面",回车； localhost:...
mysql版本号xx.xx.xx类型字段排序问题解决
sayoko06的博客
04-30 6892
项目开发中mysql有版本号字段，类似于1.0.0，1.0.1这种，需求是按照版本号倒序排列。直接使用字段排会根据字符串进行排序，这样1.10.1和1.2.1进行排序，本来想让1.10.1排在前面，但是字符串排序2比1大，1.2.1就排在了前面，不是我们想要的结果。想到把version版本号拆分成三个字段，分别排序。这里用到了myssl的SUBSTRING_INDEX. SUBS...
封装一个版本对比（x.xx.xx）的方法
最新发布
11-25 1369
封装一个版本对比（x.xx.xx）的方法
Class.forName(xxx.xx.xx) 和newInstance区别
09-26 4871
Class.forName(xxx.xx.xx)是jvm装载该类，执行静态代码块 newInstance为在这个基础上实例化一个对象，这个可以基于forName进行链式操作：Class.forName(xxx.xx.xx).newInstance();
Hadoop2.x高可用(HA)集群配置实战
"本文档主要介绍了如何在Hadoop2.x版本中搭建高可用(HA)环境，包括HDFS的HA和ZooKeeper的配置。" 在Hadoop2.x中，为了提高系统的稳定性和可靠性，通常会采用High Availability (HA)模式，确保NameNode的冗余，避免...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值