Centos 6.5 下hadoop2.5.2的HA集群原理讲解以及详细配置（自动切换）

最新推荐文章于 2021-05-01 16:02:58 发布
最新推荐文章于 2021-05-01 16:02:58 发布
阅读量2.5k 收藏 2
点赞数
分类专栏： 大数据存储与分析 文章标签： Hadoop 2.5.2 HDFS HA
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/eric_sunah/article/details/44620305
版权

简介


在Centos 6.5 下hadoop2.5.2的HA集群原理讲解以及详细配置（手动切换） 一文中讲述了如何搭建一个通过手工方式实现namenode HA机制，本文描述如同通过Zookeeper来实现自动的HA.

基本原理以及部分参数的讲解可参考手动切换的章节


硬件环境

HOSTNAME IP Hadoop Zookeeper
hadoop01 192.168.40.242 NN,JN ZKS
hadoop02 192.168.40.243 NN,JN ZKS
hadoop03 192.168.40.244 DN,JN ZKS
hadoop04 192.168.40.245 DN

hadoop05 192.168.40.246 DN


基础环境配置

系统以及SSH配置请参考Centos 6.5 下hadoop2.5.2的HA集群原理讲解以及详细配置（手动切换） 


Zookeeper


Zookeeper 的配置请参考：在CentOS上安装ZooKeeper集群
配置完后将三个Zks启动起来

配置

安装jdk


编辑在每台机器上配置/etc/profile文件，添加以下内容

export HADOOP_HOME=/root/hadoop/hadoop-2.5.2

export JAVA_HOME=/root/hadoop/jdk1.7.0_51

export CLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

export PATH=$PATH:$JAVA_HOME/bin

hadoop-env.sh

export JAVA_HOME=/root/hadoop/jdk1.7.0_51

core-site.xml

<configuration>

 <!-- 指定namenode的主机名和端口号，此处的端口号需要和hdfs-size.xml的dfs.namenode.rpc-address配置的端口相同 -->

<property>  

  <name>fs.defaultFS</name>

  <value>hdfs://cluster1</value>

    <description>The name of the default file system.</description>

</property>

<!-- 配置hadoop的临时目录，我们需要把这个目录创建出来mkdir -p data/tmp ,这里的路径默认是NameNode,DataNode,JournalNode等存放数据的公共目录-->

<property>

     <name>hadoop.tmp.dir</name>

     <value>/data/hadoop/tmp</value>

     <description>A base for other temporary directories.</description>

</property>

<!-- 这里是Zookeeper集群的地址和端口，注意一定要是奇数，并且数量不要少于三个节点 -->

<property>

     <name>ha.zookeeper.quorum</name>

     <value>hadoop01:2181,hadoop02:2181,hadoop03:2181</value>

</property>

</configuration>


 hdfs-site.xml

<configuration>

<property>
  <name>dfs.namenode.secondary.http-address</name>
  <value>hadoop01:50090</value>
  <description>
    The secondary namenode http server address and port.
  </description>
</property>

<!-- 配置web UI 访问hdfs系统的地址-->
<property>
  <name>dfs.namenode.http-address</name>
  <value>hadoop01:50070</value>
  <description>
    The address and the base port where the dfs namenode web ui will listen on.
  </description>
</property>
    <!-- 设置HDFS的副本数 -->
<property>
<name>dfs.replication</name>
<value>3</value>
</property>

  <!-- 这一个最好去掉，开发时用，设置访问的权限，默认是true,就是检查权限，只有一个用户可以创建文件或目录，修改为所有用户都可以创建文件或目录 -->
<property>
<name>dfs.permissions</name>
<value>false</value>
</property>

<!-- 镜像文件存储的目录 -->
<property>
  <name>dfs.namenode.name.dir</name>
  <value>file:///data/dfs/nn/name</value>
</property>

<!-- 编辑日志存储的目录 --> 
<property>
  <name>dfs.namenode.edits.dir</name>
  <value>file:///data/dfs/nn/edits</value>
</property>
 
<!--dataName在本地的目录 -->
<property>
<name>dfs.datanode.data.dir</name>
<value>file:///data/dfs/dn</value>
</property>

<!--合并镜像文件的目录 -->
<property>
  <name>dfs.namenode.checkpoint.dir</name>
  <value>file:///data/dfs/snn/name</value>
</property>
<!--合并编辑日志的目录 -->
<property>
  <name>dfs.namenode.checkpoint.edits.dir</name>
  <value>file:///data/dfs/snn/edits</value>
</property>

<!--下面是配置HA -->
  <!--集群中命名服务列表（自定义），使用Federation时，使用了1个HDFS集群。这里抽象出1个NameService实际上就是给这1个HDFS集群起了个别名。名字可以随便起，相互不重复即可-->
<property>
  <name>dfs.nameservices</name>
  <value>cluster1</value>
</property>
<!--命名服务中的namenode逻辑名称（自定义）-->
<property>
  <name>dfs.ha.namenodes.cluster1</name>
  <value>hadoop01,hadoop02</value>
</property>
<!--命名服务中逻辑名称对应的RPC地址-->
<property>
  <name>dfs.namenode.rpc-address.cluster1.hadoop01</name>
  <value>hadoop01:9000</value>
</property>

<property>
  <name>dfs.namenode.rpc-address.cluster1.hadoop02</name>
  <value>hadoop02:9000</value>
</property>
<!--命名服务中逻辑名称对应的HTTP地址-->
<property>
  <name>dfs.namenode.http-address.cluster1.hadoop01</name>
  <value>hadoop01:50070</value>
</property>

<property>
  <name>dfs.namenode.http-address.cluster1.hadoop02</name>
  <value>hadoop02:50070</value>
</property>
 <!--Journal Node数据存放目录，指定JournalNode集群在对NameNode的目录进行共享时,自己存储数据的磁盘路径-->
<property>
  <name>dfs.journalnode.edits.dir</name>
  <value>/data/journal/</value>
</property>

<!--主备NameNode同步元信息的共享存储系统,使用的是JournalNode集群来维护-->  
  <!--指定cluster1的两个NameNode共享edits文件目录时，使用的JournalNode集群信息--> 
  <!--下面是一个HDFS集群cluster1，所以有一个，如果有两个HDFS集群，每个NameNode对应NameService的配置文件--> 
  <!--修改cluster1--> 
<property>
  <name>dfs.namenode.shared.edits.dir</name>
  <value>qjournal://hadoop01:8485;hadoop02:8485;hadoop03:8485/cluster1</value>
</property>
<!--是否启用了自动故障转移-->  
  <!--下面是一个HDFS集群cluster1，所以有一个，如果有两个HDFS集群，每个NameNode对应NameService的配置文件--> 
  <!--修改cluster1-->
<property>
  <name>dfs.ha.automatic-failover.enabled.cluster1</name>
  <value>true</value>
</property>

<!--指定cluster1出现故障时，有那个实现类负责执行故障切换--> 
  <!--下面是一个HDFS集群cluster1，所以有一个，如果有两个HDFS集群，每个NameNode对应NameService的配置文件--> 
  <!--修改cluster1-->
<property>
  <name>dfs.client.failover.proxy.provider.cluster1</name>
  <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
</property>

<!--一旦需要NameNode切换，使用ssh方式进行操作 -->
<property>
  <name>dfs.ha.fencing.methods</name>
  <value>sshfence</value>
</property>
<!-- 如果使用ssh进行故障切换，使用ssh通信时用的密钥存储的位置-->
<property>
  <name>dfs.ha.fencing.ssh.private-key-files</name>
  <value>/root/.ssh/id_rsa</value>
</property>
</configuration>


   

在上面的配置中有一个地方要特别说明一下，dfs.ha.fencing.ssh.private-key-files这里指向的是一个本地文件。上面我们是配置了两个namenode来实现HDFS的HA的，分别是nn1和nn2，在nn2的~/.ssh/目录下需要将nn1的~/.ssh/目录下的id_rsa文件copy过来，并且应该重命名成如id_rsa_nn1这样的文件名，以免覆盖了本地的文件。

yarn-site.xml

 

 <configuration>

<!--Resourcemanager的配置,自定ResourceManager的地址，还是单点，这是隐患-->

 <property>

  <name>yarn.resourcemanager.hostname</name>

  <value>hadoop01</value>

 </property>

<!--配置resourcemanager的http地址 The http address of the RM web application.-->

 <property>

    <name>yarn.resourcemanager.webapp.address</name>

    <value>hadoop01:8088</value>

  </property>

<!--配置resourcemanager的https地址 The https adddress of the RM web application.-->

   <property>

    <name>yarn.resourcemanager.webapp.https.address</name>

    <value>hadoop01:8090</value>

  </property>

<!-- 在NM上还可以扩展自己的服务，yarn提供了一个yarn.nodemanager.aux-services的配置项，通过该配置，用户可以自定义一些服务，例如Map-Reduce的shuffle功能就是采用这种方式实现的 -->

 <property>

  <name>yarn.nodemanager.aux-services</name>

  <value>mapreduce_shuffle</value>

 </property>

</configuration>

   

安装

  1. 然后在某一个namenode节点执行如下命令，创建命名空间
    ./bin/hdfs zkfc -formatZK
  2. 在日志节点hadoop01，hadoop02，hadoop03用如下命令启日志程序
    ./sbin/hadoop-daemon.sh start journalnode
  3. 在主namenode节点用./bin/hadoopnamenode -format格式化namenode和journalnode目录
    ./bin/hadoop namenode -format mycluster
  4. 在主namenode节点启动./sbin/hadoop-daemon.shstart namenode进程
    ./sbin/hadoop-daemon.sh start namenode
  5. 在备节点执行第一行命令，这个是把备namenode节点的目录格式化并把元数据从主namenode节点copy过来，并且这个命令不会把journalnode目录再格式化了！然后用第二个命令启动备namenode进程！
    ./bin/hdfs namenode –bootstrapStandby
    ./sbin/hadoop-daemon.sh start namenode
  6. 在两个namenode节点都执行以下命令
    ./sbin/hadoop-daemon.sh start zkfc
  7. 在所有datanode节点都执行以下命令启动datanode
    ./sbin/hadoop-daemon.sh start datanode
  8. 下次启动的时候，就直接执行以下命令就可以全部启动所有进程和服务了：
    ./sbin/start-dfs.sh

验证

然后访问以下两个地址查看启动的两个namenode的状态：

http://hadoop01:50070/dfshealth.jsp 状态为:'hadoop01:9000' (active)

http://hadoop02:50070/dfshealth.jsp 状态为:'hadoop02:9000' (standby)

停止hdfs集群

停止所有HDFS相关的进程服务，执行以下命令：

./sbin/stop-dfs.sh


测试HDFS的HA功能


在任意一台namenode机器上通过jps命令查找到namenode的进程号，然后通过kill -9的方式杀掉进程，观察另一个namenode节点是否会从状态standby变成active状态。

$ jps

1686 JournalNode

1239 QuorumPeerMain

1380 NameNode

2365 Jps

1863 DFSZKFailoverController

$ kill -9 1380

然后观察原来是standby状态的namenode机器的zkfc日志，若最后一行出现如下日志，则表示切换成功：

2013-12-31 16:14:41,114 INFOorg.apache.hadoop.ha.ZKFailoverController: Successfully transitioned NameNodeat hadoop02/192.168.40.243:53310 to active state

这时再通过命令启动被kill掉的namenode进程

./sbin/hadoop-daemon.sh start namenode

对应进程的zkfc最后一行日志如下：

2013-12-31 16:14:55,683 INFOorg.apache.hadoop.ha.ZKFailoverController: Successfully transitioned NameNodeat hadoop01/192.168.40.242:53310 to standby state
铁猴
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 4
    评论
专栏目录
hadoop配置HA原理
AricaCui的博客
09-27 440
Architecture In a typical HA clusiter, two separate machines are configured as NameNodes. At any point in time, exactly one of the NameNodes is in an Active state, and the other is in a Standby sta
CentOS6.5x64下安装19实体节点Hadoop2.2.0集群配置指南
07-23
资源名称：CentOS 6.5 x64下安装19实体节点Hadoop 2.2.0集群配置指南内容简介： CentOS 6.5 x64下安装19实体节点Hadoop 2.2.0集群配置指南主要讲述的是CentOS 6.5 x64下安装19实体节点Hadoop 2.2.0集群配置指南;...
hadoop2.0 HA的主备自动切换
weixin_34128411的博客
04-02 255
在《hadoop2.0 QJM方式的HA的配置》一文中介绍了HA的配置，是通过手工进行主备切换的。本文在这基础上，继续介绍HA的主备自动切换（automatic failover）的配置。自动切换是通过配置zookeeper来实现的，关于zookeeper的安装和配置，在这里不做介绍了，大家可以参考网上的资料。1 准备 假定已经有一个zookeeper的集群，3台机器如下：...
三、hadoop2.5.2+centos6.5编译源码
zippo
01-24 642
1、安装jdk1.7，并配置环境变量 2、安装其他基础库 [root@hadoop0 cdh]# yum install g++ autoconf automake libtool make cmake zlib1g-dev pkg-config libssl-dev (1). 如果是Debian或CentOs 安装 # yum install g++ 
基于hadoop2.6.0搭建5个节点的分布式集群
it_taojingzhan的博客
06-08 2348
http://www.thebigdata.cn/Hadoop/30107.html 1、前言 　　我们使用hadoop2.6.0版本配置Hadoop集群，同时配置NameNode+HA、ResourceManager+HA，并使用zookeeper来管理Hadoop集群 　　2、规划 　　1、主机规划   hadoop1/ 192.168.56.131
[RM HA 2] Hadoop 2.0 ResourceManager HA原理
weixin_30835933的博客
01-22 128
继上篇文章验证Cloudera RM HA功能后，现在开始分析Cloudera RM HA的原理。 设计目标 主要目的是为了解决两种问题 计划外的机器挂掉 计划内的如软件和硬件升级等. 架构 流程：两个RM, 启动的时候都是standby, 进程启动以后状态未被加载, 转换为active后才会加载相应的状态并启动服务. RM的状态通过配置可以存储在zoo...
centos6.5 安装hadoop1.2.1的教程详解【亲测版】
09-15
在本文中，我们将深入...总之，安装和配置Hadoop 1.2.1在CentOS 6.5上需要一系列的步骤，包括环境准备、Java的安装、SSH配置以及防火墙和安全设置的调整。遵循这个教程，你应该能够成功地搭建起一个基本的Hadoop集群。
CentOS上搭建Hadoop2.5.2_CentOS搭建hadoop_云计算_源码
10-01
以下是基于CentOS 7.0搭建Hadoop 2.5.2的详细步骤，以及涉及的相关知识点： 1. **系统准备**： - 安装最新版本的CentOS 7.0，确保系统更新到最新安全补丁。 - 配置防火墙规则，允许必要的端口通信，如Hadoop默认...
CentOS下Hadoop-0.20.2集群配置文档.docx
最新发布
09-18
在配置Hadoop-0.20.2集群于CentOS系统时，首先需要了解集群的基本网络环境。在这个案例中，集群由三个节点组成：一个NameNode和两个DataNode。它们通过局域网相互连接，可以相互ping通。每个节点都运行着CentOS操作...
CentOS6.5mini版hadoop集群搭建流程
10-13
CentOS6.5mini版hadoop集群搭建流程，内容比较简洁明了。
linux(centos 6.5)hadoop集群搭建。
04-27
在Linux(CentOS 6.5)环境下搭建Hadoop集群是一项技术性较强的工作，涉及到多个步骤和组件的配置。Hadoop是Apache软件基金会的一个开源分布式计算框架，它允许在廉价硬件上处理大规模数据集，提供了高可靠性、高扩展...
CentOS6.5mini版Hadoop集群搭建流程
01-03
在本文中，我们将详述如何在CentOS6.5 mini版本上搭建Hadoop集群。这个过程适用于想要学习Hadoop分布式计算框架或建立实验环境的IT专业人士。首先，确保你的系统是CentOS6.5，并且你已经安装了虚拟机，配置了主机名...
CentOS6.5系统下Hadoop2.6.0完全分布式环境安装与配置信息介绍
08-27
### CentOS6.5系统下Hadoop2.6.0完全分布式环境安装与配置知识点 #### 一、系统环境准备 **1.1 修改主机名** 为了确保主机名的一致性，首先需要更改主机名为“Master”： ```bash sudo vim /etc/sysconfig/...
[整理]Centos6.5 + hadoop2.6.4环境搭建
08-13
在本教程中，我们将深入探讨如何在CentOS 6.5操作系统上搭建Hadoop 2.6.4环境。Hadoop是一个开源的分布式计算框架，主要用于处理和存储大量数据。让我们一步步来了解这个过程。 首先，确保你的系统是最新状态，通过...
CentOS6.5下Redis安装与配置详细步骤
09-09
以上就是 CentOS 6.5 下 Redis 的安装与配置过程，包括单机单实例、服务启动与开机自启。在实际环境中，为了区分多个 Redis 实例，可以考虑在目录命名和配置文件中添加端口号标识。在配置过程中，务必确保所有依赖已...
centos7中keepalived原理及高可用(HA)详解
weixin_34106122的博客
04-11 275
keepadlived原理：keepadlive是通过路由器的VRRP协议实现来实现服务器的高可用防止单点故障发生的技术。VRRP协议简介：VRRP是一种容错协议，它保证当主机的下一跳坏掉时，可以及时由另一台路由器来代替，从而保持通讯的连续性和可靠性。为了使vrrp能正常工作，要在路由器上配置虚拟路由器号和路由器的虚拟ip地址，同时产生一个虚拟MAC地址,这样在网络这就加入了...
Hadoop 上传文件出错：Couldn‘t find datanode to write file. Forbidden
lingmeng447的专栏
04-08 7662
使用jps查看后台是因为datanode没有启动，如下图 将Hadoop重启 /sbin/stop-all.sh /sbin/start-all.sh 报如下错误。提示主机名不存在 查看DataNode 日志出现如下错误： 进入配置文件目录搜索全文发现wokers 配置文件中主机名写错了 grep “host64” ./ -nr 正确的主机名应该是host46 将主机名修改正确，重启Hadoop /sbin/stop-all...
Hadoop中的IP:50070无法连接
陈十一yi
05-01 5403
搭建完Hadoop分布式安装后，使用IP:50070显示无法连接，这是因为使用Hadoop3.0以上版本安装时，它的默认端口已经更改为9870可以使用netstat -ant查看端口是否开启 检查是否成功关闭防火墙和Selinux ##检查防火墙是否关闭 systemctl status firewalld.service systemctl list-unit-files | grep "firewalld" ##检查SELinux是否修改 setenforce 0 vim /etc/selinu
hadoop 安装配置
安静的码农
03-16 157
文章目录大数据环境安装机器准备机器配置静态IP配置主机名配置linux 无密码登录ntp时间同步编辑配置文件 hadoop1 hadoop2 hadoop3 都需要编辑jdk 安装zookeeper安装zookeeper 使用hadoop 配置安装配置初次启动hadoop验证测试集群工作状态的一些指令 ：3台主机部署安装日常启动和停止开机启动脚本 大数据环境安装 机器准备 机器配置 静态IP配置 ...
评论 4
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值