QJM With HDFS-HA Configuration details

最新推荐文章于 2020-06-29 19:07:20 发布
最新推荐文章于 2020-06-29 19:07:20 发布
阅读量179 收藏
点赞数
分类专栏： Hadoop 文章标签： HDFS-HA
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/ReyzeLamp/article/details/102978012
版权

目的

   总结HDFS-HA实施步骤及细节（概述HDFS高可用性（HA）功能以及如何使用Quorum Journal Manager（QJM）功能配置和管理HA HDFS群集）

背景

在Hadoop 2.0.0之前，NameNode是HDFS集群中的单点故障（SPOF）。每个群集只有一个NameNode，并且如果该计算机或进程不可用，则整个群集将不可用，直到NameNode重新启动或在单独的计算机上启动。

这从两个方面影响了HDFS群集的总可用性：

  • 如果发生意外事件（例如机器崩溃），则在操作员重新启动NameNode之前，群集将不可用。

  • 计划内的维护事件，例如NameNode计算机上的软件或硬件升级，将导致群集停机时间的延长。

   HDFS高可用性功能通过提供以下选项来解决上述问题：在具有热备用功能的主动/被动配置中，可以在同一群集中运行两个（自3.0.0起，超过两个）冗余NameNode。这可以在计算机崩溃的情况下快速故障转移到新的NameNode，或出于计划维护的目的由管理员发起的正常故障转移。

在典型的HA群集中，将两个或更多单独的计算机配置为NameNode。在任何时间点，一个NameNode都恰好处于Active状态，其他NameNode 处于Standby状态。Active NameNode负责群集中的所有客户端操作，而Standby则仅充当工作程序，并保持足够的状态以在必要时提供快速故障转移。

硬件资源

  1. 虚拟Linux服务器：机器1（192.168.40.112），机器2号（192.168.40.113），机器3（192.168.40.114）
  2. 操作系统：CentOs 6.x
  3. CPU：8核
  4. 内存：8G以上

部署

1.前提

1.1 机器1,2,3 实现免密钥登录（彼此可互相登录）

（参考：https://blog.csdn.net/ReyzeLamp/article/details/102978351）

1.2 机器1,2,3 的hosts文件配置彼此的域名映射

      192.168.40.112  bigdata-trianing01.com
              192.168.40.113  bigdata-trianing02.com
              192.168.40.114  bigdata-trianing03.com

1.3 Hadoop-2.5.0 （测试）及zookeeper-3.4.5分布式环境已安装（其中一些配置在后面提及）

1.4 集群规划

      机器1：namendoe（active），datanode，journalnode

      机器2：namenode（standby）,datanode，journalnode

      机器3：datanode，journalnode

2.部署细节

路径：在bigdata-trianing01.com.zookeeper家目录（/opt/modules/zookeeper-3.4.5）下

2.1 在Zookeeper中的zoo.cfg添加，路径（/opt/modules/zookeeper-3.4.5/conf），参数如下：

 dataDir=/opt/modules/zookeeper-3.4.5/datas（新建该文件）

在文件末尾添加

server.1=bigdata-trianing01.com:2888:3888
       server.2=bigdata-trianing02.com:2888:3888
       server.3=bigdata-trianing03.com:2888:3888

2.2 新建/opt/modules/zookeeper-3.4.5/datas/myid

在机器1,2,3中 ，/opt/modules/zookeeper-3.4.5/datas/路径新建myid,

机器1中，myid内容：1

机器2中，myid内容：2

机器3中，myid内容：3

路径：在bigdata-trianing01.com.hadoop家目录（/opt/modules/hadoop-2.5.0_ha）下

2.3 清空datas、logs目录

rm -rf datas/*; rm -rf logs/*;

2.4 修改hdfs-site.xml，参数如下：

<!--      HA  OPTION                        -->

    <!--配置namenode对外统一的逻辑名称-->
    <property>
        <name>dfs.nameservices</name>
        <value>ns1</value>
    </property>
    
    <property>
        <name>dfs.ha.namenodes.ns1</name>
        <value>nn1,nn2</value>
    </property>

    <!--配置namenode rpc 内部通信端口-->
    <property>
        <name>dfs.namenode.rpc-address.ns1.nn1</name>
        <value>bigdata-trianing01.com:8020</value>
    </property>
        
    <property>
            <name>dfs.namenode.rpc-address.ns1.nn2</name>
            <value>bigdata-trianing02.com:8020</value>
    </property>

    <!--配置namenode http网页地址服务端口-->
    <property>
        <name>dfs.namenode.http-address.ns1.nn1</name>
        <value>bigdata-trianing01.com:50070</value>
    </property>

    <property>
        <name>dfs.namenode.http-address.ns1.nn2</name>
        <value>bigdata-trianing02.com:50070</value>
      </property>

    <!--配置元数据日志文件及存储方式为journalnode-->
    <property>
        <name>dfs.namenode.shared.edits.dir</name>
        <value>qjournal://bigdata-trianing01.com:8485;bigdata-trianing02.com:8485;bigdata-trianing03.com:8485/ns1</value>
    </property>
    
    <property>
        <name>dfs.journalnode.edits.dir</name>
        <value>/opt/modules/hadoop-2.5.0_ha/journal-node</value>
    </property>

    <!--配置standby 切换 到active-->
    <property>
        <name>dfs.client.failover.proxy.provider.ns1</name>
        <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
    </property>

    
    <!--配置自动故障转移-->

    <property>
        <name>dfs.ha.automatic-failover.enabled</name>
        <value>true</value>
    </property>

    <!--配置隔离机制类型和对应的配置-->
    <property>
        <name>dfs.ha.fencing.methods</name>
        <value>sshfence</value>
    </property>
        
    <property>

        <name>dfs.ha.fencing.ssh.private-key-files</name>
        <value>/home/Leizedeng/.ssh/id_rsa</value>
    </property>
    
    <!--通用配置 -->
    <property>
        <name>dfs.replication</name>
        <value>3</value>
    </property>
    
    <property>
        <name>dfs.permissions.enabled</name>
        <value>false</value>
    </property>    

2.5 修改core-site.xml，参数如下：

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://ns1</value>
    </property>
    

    <property>
        <name>ha.zookeeper.quorum</name>
        <value>bigdata-trianing01.com:2181,bigdata-trianing02.com:2181,bigdata-trianing03.com:2181</value>
    </property>

    
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/opt/modules/hadoop-2.5.0_ha/datas</value>
    </property>
</configuration>

2.6 修改slaves文件，一行一个，配置如下：

bigdata-trianing01.com
       bigdata-trianing02.com
       bigdata-trianing03.com

2.7 集群分发（机器1,2,3文件安装路径要保持一致）

scp -r /opt/modules/hadoop-2.5.0_ha/ 192.168.40.113:/opt/modules/

scp -r /opt/modules/hadoop-2.5.0_ha/ 192.168.40.114:/opt/modules/

2.8 启动

2.8.0 启动机器1,2,3 的zookeeper，journalnode（如需再次格式化，建议清空日志文件logs和datas下的文件）

/opt/modules/zookeeper-3.4.5/bin/zkServer.sh start

/opt/modules/hadoop-2.5.0_ha/sbin/hadoop-daemon.sh start journalnode

2.8.1 格式化namenode（在机器1,2中，谁格式化，它的状态将预估为active）

因集群规划，在机器1上格式化

bin/hdfs namenode -format

2.8.2 在机器1上启动namenode

sbin/hadoop-daemon.sh start namenode

2.8.3 将机器1格式化后的数据同步到机器2中，在机器2上

bin/hdfs namenode -bootstrapsstandby

2.8.4 格式化zookeeper之间的连接zookeeperFailoverController（zkfc），在机器1上

bin/hdfs -zkfc -formatZK

2.8.5 启动机器1,2,3的namenode和datanode

sbin/hadoop-daemon.sh start datanode

此时http://192.168.40.112:50070、http://192.168.40.113:50070该2个namenode状态都为standby

2.8.6 启动ZKFC（在机器1,2中，谁先启动，谁的状态即转换为active）

因集群规划，在机器1上，启动zkfc

sbin/hadoop-daemon.sh start zkfc

此时http://192.168.40.112:50070 的namenode状态 为active

2.9 测试

2.9.1 关闭机器1 namenode的进程

kill -9 PID

此时http://192.168.40.112:50070 无法访问

而http://192.168.40.113:50070的namenode状态自动切换为active

到此部署完毕！

经验之谈：不论大家在部署过程中，是否参照以上配置操作，可能会遇到以下一些问题：

1. 当部署完毕后，开启进程后，发现2个namenode 状态都为standby。

解决：检查配置slaves、hdfs-site、core-site及zookeeper配置，如果有误， 修改完，

           清空datas和logs文件，重走 2.8步骤。

2. 当部署完毕后，测试发现，关闭状态为active的namenode1，另一个namenode2状态为standby并未切换为active。

解决：检查namenode的 zkfc及namenode 的日志文件，找到问题后，

           再次清空datas和logs文件，重走2.8步骤。

末尾简述：

客户端通过在hdfs-site配置namenode的逻辑服务名称知道新active的namenode的地址，

所有的datanode通过zookeeper来获取新的namenode地址；

而的新的namendoe所在机器通过journalnode来获取元数据！

syssp-F
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
Hadoop-HA模式（详解）
窃格拉瓦
08-21 2万+
一、概述 之前的博客写了搭建hadoop集群环境，今天写一写搭建高可用（HA）环境。Hadoop-HA模式大致分为两个(个人在学习中的理解)： namenode 高可用 yarn 高可用 1、Namenode HA Namenode在HDFS中是一个非常重要的组件，相当于HDFS文件系统的心脏，在显示分布式集群环境中，还是会有可能出现Namenode的崩溃或各种意外。所以，高可用模...
hdfs2-7_3+hbase1_2_5 HA withQJM环境搭建
04-05
hadoopHA with QJM环境搭建（hdfs+hbase）
HDFS HA连接和常用API操作
飞鱼丶灬的博客
06-29 469
public class HDFSTest { FileSystem fileSystem; @Before public void setUp() throws IOException { Configuration configuration = new Configuration(); configuration.set("fs.defaultFS", "hdfs://ns1"); configuration.set("dfs.
HDFS 使用 QJM 构建 HA
太阳火神的美丽人生
03-02 570
HDFS 使用 QJM 构建 HA太阳火神的美丽人生 (http://blog.csdn.net/opengl_es)本文遵循“署名-非商业用途-保持一致”创作公用协议转载请保留此句：太阳火神的美丽人生 -  本博客专注于 敏捷开发及移动和物联设备研究：iOS、Android、Html5、Arduino、pcDuino，否则，出自本博客的文章拒绝转载或再转载，谢谢合作。HDFS High Avai...
使用QJM构建HDFS HA架构(2.2+)
克终的博客
08-07 323
使用QJM构建HDFS HA架构(2.2+)
Hadoop HA HDFS启动 NameNode启动失败解析
wuyue的博客
07-19 5712
今天也要努力学习 作者大哥：me2xp https://www.linuxidc.com/Linux/2016-03/129437.htm 看日志真的很重要！！！！！！！！！！ 一、问题描述 HA按照规划配置好，启动后，NameNode不能正常启动。刚启动的时候 jps 看到了NameNode，但是隔了...
Hadoop HDFS通过QJM实现高可用HA环境搭建
Algernon的博客
08-09 409
官方参考文档：http://hadoop.apache.org/docs/r2.7.2/hadoop-project-dist/hadoop-hdfs/HDFSHighAvailabilityWithQJM.html环境准备机器列表 主机 NN DN ZK ZKFC JN RM NM node1 Y Y Y node2 Y
hadoop-HA集群搭建，启动DataNode，检测启动状态，执行HDFS命令，启动YARN，HDFS权限配置，C++客户端编程，常见错误
涂作权的博客
06-10 9442
本篇博文为整理网络上Hadoop-HA搭建后出来的博客，参考网址为：http://blog.chinaunix.net/uid-196700-id-5751309.html 3.部署 3.1.机器列表 共5台机器（zookeeper部署在这5台机器上），部署如下表所示： NameNode JournalNode DataNode...
hadoop-HA Hadoop 2.2.0版本HDFS的HA配置
czw698的专栏
03-06 706
http://blog.csdn.net/dmcpxy/article/details/18256607 注：以下配置描述的是HDFS的QJM方式的HA配置。 1.1 zookeeper集群配置 这里我使用了三台机器(在笔记本上使用vmware创建了三个虚拟机来实现)部署zookeeper集群，机器IP分别是： l 192.168.111.130(hostname：hd0)
搭建hadoop2.6.0 HDFS HA及YARN HA
小强签名设计 的博客
05-08 2880
最终结果： [hadoop@h41 ~]$ jps 12723 ResourceManager 12995 Jps 12513 NameNode 12605 DFSZKFailoverController [hadoop@h42 ~]$ jps 12137 ResourceManager 12233 Jps 12009 DFSZKFailoverController 119
Hadoop HA(QJM)高可集群性配置
09-22
基于Journnode的Hadoop Master节点主备自动切换。
Hadoop-2.0-NameNode-HA和Federation实践1
08-08
在Hadoop 2.0中，NameNode的High Availability（HA）和Federation是为了解决传统Hadoop架构中的两个关键问题：单点故障和集群扩展性。在Hadoop 2.0之前，NameNode作为HDFS的核心组件，它的单点故障可能导致整个...
HDFS High Availability（HA）高可用配置.doc
07-08
HDFS HA解决方案之一是Quorum Journal Manager (QJM)，由Cloudera公司提出并被官方推荐。QJM利用Zookeeper的ZKFC（Zookeeper-based Failover Controller）进行主备切换，并通过Journal Node (JN)集群实现Edits Log的...
基于微信小程序的宠物小程序（免费提供全套java开源毕业设计源码+数据库+使用说明）
最新发布
06-25
基于微信小程序的宠物小程序是一款专为宠物爱好者设计的综合性平台，旨在提供便捷的宠物服务和信息交流。该小程序充分利用微信生态，用户无需下载安装即可使用，具有轻量化、易操作的特点。 主要功能模块包括宠物信息管理、在线咨询、社区交流、宠物商城和服务预订。宠物信息管理模块允许用户添加和管理宠物的详细信息，包括品种、年龄、健康记录等。在线咨询模块提供与宠物医生或专家的即时沟通渠道，帮助用户解决宠物健康和养护问题。社区交流模块是一个互动平台，用户可以分享养宠心得、发布宠物照片、参与讨论，促进宠物爱好者之间的交流和互助。宠物商城模块提供各类宠物用品的在线购物服务，用户可以方便地购买到优质的宠物食品、玩具、护理用品等。服务预订模块则涵盖了宠物美容、医疗、寄养等服务，用户可以在线预订，享受便捷的宠物服务。 此外，小程序还具备推送提醒功能，定期提醒用户宠物的疫苗接种、健康检查等事项。整体而言，基于微信小程序的宠物小程序通过集成多种实用功能，为宠物主人提供了全面的宠物服务解决方案，提升了养宠体验，促进了宠物与主人之间的互动与关爱。
恒温水杯商业计划书.pdf
06-25
恒温水杯商业计划书.pdf
基于SSM+Vue的校园美食交流系统（免费提供全套java开源毕业设计源码+数据库+开题报告+论文+ppt+使用说明）
06-25
随着现在网络的快速发展，网上管理系统也逐渐快速发展起来，网上管理模式很快融入到了许多商家的之中，随之就产生了“校园美食交流系统”，这样就让校园美食交流系统更加方便简单。 对于本校园美食交流系统的设计来说，系统开发主要是采用java语言技术，在整个系统的设计中应用MySQL数据库来完成数据存储，具体根据校园美食交流系统的现状来进行开发的，具体根据现实的需求来实现校园美食交流系统网络化的管理，各类信息有序地进行存储，进入校园美食交流系统页面之后，方可开始操作主控界面，主要功能包括管理员：首页、个人中心、美食分类管理、美食信息管理、用户管理、管理员管理、论坛中心、系统管理。前台首页：首页、美食信息、论坛中心、美食资讯、个人中心、后台管理、网站建议。用户：首页、个人中心、我的收藏管理功能。 本论文主要讲述了校园美食交流系统开发背景，该系统它主要是对需求分析和功能需求做了介绍，并且对系统做了详细的测试和总结。具体从业务流程、数据库设计和系统结构等多方面的问题。望能利用先进的计算机技术和网络技术来改变目前的校园美食交流系统状况，提高管理效率。 关键词：校园美食交流系统；SSM框架，mysql数据
Java聊天室程序(java).zip
06-25
Java聊天室程序(java)
基于python实现k均值聚类的音乐数据可视化分析系统源码+演示视频+数据集.zip
06-25
基于python实现k均值聚类的音乐数据可视化分析系统源码+演示视频+数据集.zip 该项目属于个人毕业设计，经导师的精心指导与严格评审获得高分通过的设计项目。主要针对计算机相关专业的教师、正在做毕设、课设的学生使用，也可作为项目实战演练，可直接作为课程设计、期末大作业、毕设等。 1.项目代码功能经验证ok，确保稳定可靠运行。欢迎下载使用！在使用过程中，如有问题或建议，请及时私信沟通。 2.主要针对各个计算机相关专业，包括计科、信息安全、数据科学与大数据技术、人工智能、通信、物联网等领域的在校学生、专业教师或企业员工使用。 3.项目具有丰富的拓展空间，不仅可作为入门进阶，也可直接作为毕设、课程设计、大作业、初期项目立项演示等用途。 4.当然也鼓励大家基于此进行二次开发。 5.期待你能在项目中找到乐趣和灵感，也欢迎你的分享和反馈！ 基于python实现k均值聚类的音乐数据可视化分析系统源码+演示视频+数据集.zip
git checkout qjm
05-30
其中，“qjm”表示分支名或者是一个commit ID，如果是分支名则会切换到该分支，如果是commit ID则会恢复到该版本。使用git checkout命令可以对代码进行回滚或者切换到其他分支进行开发。 如果你要切换到分支名为...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值