国内最全最详细的Hadoop2.2.0集群的HA高可靠的最简单配置

最新推荐文章于 2023-06-21 16:42:59 发布
最新推荐文章于 2023-06-21 16:42:59 发布
阅读量1.4k 收藏 1
点赞数
分类专栏： Hadoop 文章标签： Hadoop2.x 高可用 Hadoop HA

简介

hadoop中的NameNode好比是人的心脏，非常重要，绝对不可以停止工作。在Hadoop1时代，只有一个NameNode。如果该NameNode数据丢失或者不能工作，那么整个集群就不能恢复了。这是Hadoop1中的单点问题，也是Hadoop1不可靠的表现，如下图所示。这个问题在hadoop2.x中得到了解决。


Hadoop2.2.0中HDFS的高可靠指的是可以同时启动2个NameNode。其中一个处于工作状态，另一个处于随时待命状态。这样，当一个NameNode所在的服务宕机时，可以在数据不丢失的情况下，手工或者自动切换到另外一个NameNode提供服务。

这些NameNode之间通过共享数据，保证数据的状态一致。多个NameNode之间共享数据，可以通过NetWork File System或者Quorum Journal Node。前者是通过Linux共享的文件系统，属于操作系统的配置；后者是Hadoop自身的东西，属于软件的配置。

我们这里是讲述使用Quorum JournalNode的配置方式，方式是手工切换的。

集群启动时，可以同时启动2个NameNode。这些NameNode只有一个是active的，另外一个是standby状态的。active状态意味着提供服务，standby状态意味着处于休眠状态，只进行数据同步，时刻准备着提供服务，如下图所示：


架构

在一个典型的HA集群中，每个NameNode是一台独立的服务器。在任意时刻，只有一个NameNode处于Active状态，另外一个处于standby状态。其中，active状态的NameNode负责所有的客户端操作，standby状态的NameNode处于从属地位，维护着数据状态，随时准备切换。

两个NameNode为了数据同步，会通过一组称作JournalNode的独立进程进行相互通信。当active状态的NameNode的命名空间有任何修改时，会告知大部分的Journalnode进程。standby状态的NameNode有能力读取Journalnodes中的变更信息，并且一直监控edit log的变化，把变化应用与自己的命名空间。standby可以确保在集群出错时，命名空间状态已经完全同步了，如下图所示。


为了确保快速切换，standby状态的NameNode有必要知道集群中所有数据块的位置。为了做到这点，所有DataNode必须两个NameNode的地址，发送数据块位置信息和心跳给他们两个。

对于HA集群而言，确保同一个时刻只有一个NameNode处于active状态是至关重要的。否则，两个NameNode的数据状态就会产生分歧，可能丢失数据，或者产生错误的结果。为了保证这点，Journalnodes必须确保同一时刻只有一个NameNode可以向自己写数据。


硬件资源

为了部署HA集群，应该准备一下事情：

1.NameNode服务器：运行NameNode的服务器应该有相同的硬件配置。

2.JournalNode服务器：运行的Journalnode进程非常轻量，可以部署在其他机器上。注意：必须允许至少3个节点。当然可以运行更多，但是必须是奇数个，如3、5、7、9个等等。当运行N个节点时，系统可以容忍至少(N-1)/2个节点失败而不影响正常工作。

在HA集群中，standby状态的NameNode可以完成checkpoint操作，因此没有必要配置SecondaryNameNode、checkpointNode、backupNode。如果真的配置了，还会报错。


配置

HA集群需要使用NameService ID区分一个HDFS集群。另外，HA中还要使用一个词，叫做NameNode ID，同一个集群中的不同NameNode，使用不同的NameNode ID区分。为了支持所有NameNode使用相同的配置文件，因此在配置参数中，需要把"NameService ID"作为NameNode ID的前缀。


HA配置内容是在文件hdfs-site.xml中的，下面介绍关键配置项。

dfs.nameservice 命名空间的逻辑名称。如果使用HDFS Federation，可以配置多个命名空间的名称，使用逗号分隔即可。

<property>
  <name>dfs.nameservices</name>
  <value>mycluster</value>
</property>
dfs.ha.namenodes.[nameservice ID]命名空间中所有NameNode的唯一标示名称。可以配置多个，使用逗号分隔。该名称是可以让DataNode知道每个集群的所有NameNode。当前，每个集群最多只能配置两个NameNode。 

<property>
  <name>dfs.ha.namenodes.mycluster</name>
  <value>nn1,nn2</value>
</property>
dfs.namenode.rpc-address.[nameservice ID].[name node ID]每个NameNode监听的RPC地址。如下所示： 

<property>
  <name>dfs.namenode.rpc-address.mycluster.nn1</name>
  <value>machine1.example.com:8020</value>
</property>
<property>
  <name>dfs.namenode.rpc-address.mycluster.nn2</name>
  <value>machine2.example.com:8020</value>
</property>
dfs.namenode.http-address.[nameservice ID].[name node ID]每个NameNode监听的http地址。如下所示： 

<property>
  <name>dfs.namenode.http-address.mycluster.nn1</name>
  <value>machine1.example.com:50070</value>
</property>
<property>
  <name>dfs.namenode.http-address.mycluster.nn2</name>
  <value>machine2.example.com:50070</value>
</property>
如果用了安全策略，也应该对每个NameNode配置htts-address信息，与此类似。

dfs.namenode.shared.edits.dir这是NameNode读写Journalnodes组的URL。通过这个URL，NameNode可以读写edit log内容。URL的格式"qjournal://host1:port1;host2:port2;host3:port3/journalID"。这里的host1、host2、host3指的是Journalnode的地址，这里必须是奇数个，至少3个；其中Journalnode是集群中的唯一标识符，对于多个联邦命名空间，也是用同一个journalID。配置如下：

<property>
  <name>dfs.namenode.shared.edits.dir</name>
  <value>qjournal://node1.example.com:8485;node2.example.com:8485;node3.example.com:8485/mycluster</value>
</property>


dfs.client.failover.proxy.provider.[nameservice ID]这里配置HDFS客户端连接到Active NameNode的一个java 类。 

<property>
  <name>dfs.client.failover.proxy.provider.mycluster</name>
  <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
</property>

dfs.ha.fencing.methods 配置active NameNode出错时的处理类。当active NameNode出错时，一般需要关闭进程。处理方式可以是ssh也可以是shell。

如果是ssh，配置如下：

<property>
  <name>dfs.ha.fencing.methods</name>
  <value>sshfence</value>
</property>

<property>
  <name>dfs.ha.fencing.ssh.private-key-files</name>
  <value>/home/exampleuser/.ssh/id_rsa</value>
</property>
这种方法配置简单，推荐使用。


fs.defaultFS 客户端连接HDFS时候，默认的路径前缀。如果前面配置了nameservice ID的值是mycluster，那么这里可以配置为授权信息的一部分。

可以在core-sie.xml文件中配置如下：

<property>
  <name>fs.defaultFS</name>
  <value>hdfs://mycluster</value>
</property>
dfs.journalnode.edits.dir 这是Journalnode进程保持逻辑状态的路径。这是在Linux服务器文件的绝对路径，如下： 

<property>
  <name>dfs.journalnode.edits.dir</name>
  <value>/path/to/journal/node/local/data</value>
</property>


部署

以上配置完成以后，就可以启动JournalNode进程了。在各个JournalNode机器上执行命令"hadoop-daemon.sh journalnode"

如果是一个新的的HDFS集群，还要首先执行格式化"hdfs namenode -format"，紧接着启动本NameNode进程。

如果存在一个已经格式化的NameNode，并且已经启动了。那么应该把该NameNode的数据同步到另外一个没有格式化NameNode。在未格式化过的NameNode上执行命令"hdfs namenode -bootstrapStandby"。如果是把一个非HA集群转换成HA集群，应该运行命令"hdfs -initializeSharedEdits"，这会初始化Journalnode中的数据。

做了这些事情后，就可以启动两个NameNode了。启动成功后，通过web页面观察两个NameNode的状态，都是standby。

下面执行命令 "hdfs haadmin -failover --forcefence serviceId serviceId2"。就会把NameNode的状态进行安全的切换。其中后面一个会变为active状态。这时候再通过web页面观察就能看到正确的结果了。

管理员命令

执行命令"hdfs haadmin"，会显示子命令列表，如下：

Usage: DFSHAAdmin [-ns <nameserviceId>]
    [-transitionToActive <serviceId>]
    [-transitionToStandby <serviceId>]
    [-failover [--forcefence] [--forceactive] <serviceId> <serviceId>]
    [-getServiceState <serviceId>]
    [-checkHealth <serviceId>]
    [-help <command>]
如果要查看具体用法，使用"hdfs haadin -help <command>"，其中： 

transitionToActive和transitionToStandby是用于在不同状态之间切换的。这些命令没有任何防护错误，很少使用。

failover 初始化一个故障恢复。该命令会从一个失效的NameNode切换到另一个上面。
getServiceState 获取当前NameNode的状态。
checkHealth 检查NameNode的状态。正常就返回0，否则返回非0值。


以下是我的详细安装过程描述：

1.确定集群结构

我这里采用5台虚拟机，内存是512MB，硬盘是20GB，一下是我对这5台机器的角色分配。

ip地址主机名NameNodeJournalNodeDataNode
192.168.80.100hadoop100是是否
192.168.80.101hadoop101是是否
192.168.80.102hadoop102否是是
192.168.80.103hadoop103否否是
192.168.80.104hadoop104否否是


2.设置Linux、安装jdk

首先在VMWare中安装一台虚拟机，设置SSH免密码登录、设置静态IP为192.168.80.100，设置主机名为hadoop10、编辑/etc/hosts文件、安装JDK等，这些内容参考作者前面的文章。不再赘述。

然后修改hadoop的配置文件，下面重点描述。

2.1 编辑文件$HADOOP_HOME/etc/hadoop/hadoop-env.sh，修改一行的内容如下：

export JAVA_HOME=/usr/local/jdk
注：把这里的JAVA_HOME前面的#去掉，把值改为自己安装的JDK路径。


2.2 编辑文件$HADOOP_HOEM/etc/hadoop/core-site.xml，修改内容如下所示：

<configuration>

<property>

<name>hadoop.tmp.dir</name>

<value>/usr/local/hadoop/tmp</value>

</property>

<property>

<name>fs.default.name</name>

<value>hdfs://hadoop100:9000</value>

</property>

</configuration>
在以上配置中，name是hadoop.tmp.dir的值表示hadoop存放数据的目录，即包括NameNode的数据，也包括DataNode的数据。该路径任意指点，只要实际存在该文件夹即可。

name是fs.defaultFS的值表示HDFS路径的逻辑名称。因为我们会启动2个NameNode，每个NameNode的位置不一样，那么切换之后，用户也要修改代码，很麻烦，因此使用一个逻辑路径，用户就可以不必担心NameNode切换带来的路径不一致问题了。

2.3编辑文件$HADOOP_HOME/etc/hadoop/hdfs-site.xml，修改内容如下所示：

<configuration>

<property>

<name>dfs.replication</name>

<value>2</value>

</property>

<property>

<name>dfs.nameservices</name>

<value>cluster1</value>

</property>

<property>

<name>dfs.ha.namenodes.cluster1</name>

<value>hadoop100,hadoop101</value>

</property>

<property>

<name>dfs.namenode.rpc-address.cluster1.hadoop100</name>

<value>hadoop100:9000</value>

</property>

<property>

<name>dfs.namenode.rpc-address.cluster1.hadoop101</name>

<value>hadoop101:9000</value>

</property>

<property>

<name>dfs.namenode.http-address.cluster1.hadoop100</name>

<value>hadoop100:50070</value>

</property>

<property>

<name>dfs.namenode.http-address.cluster1.hadoop101</name>

<value>hadoop101:50070</value>

</property>

<property>

<name>dfs.namenode.shared.edits.dir</name>

<value>qjournal://hadoop100:8485;hadoop101:8485;hadoop102:84

85/cluster1</value>

</property>

<property>

<name>dfs.client.failover.proxy.provider.cluster1</name>

<value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredF

ailoverProxyProvider</value>

</property>

<property>

<name>dfs.ha.fencing.methods</name>

<value>sshfence</value>

</property>

<property>

<name>dfs.ha.fencing.ssh.private-key-files</name>

<value>/root/.ssh/id_rsa</value>

</property>

<property>

<name>dfs.journalnode.edits.dir</name>

<value>/usr/local/hadoop/tmp/journal</value>

</property>

</configuration>
注：以上配置信息在前面的描述中已经做了解释。


2.4 编辑文件$HADOOP_HOME/etc/hadoop/slaves，修改内容如下所示：

hadoop102
hadoop103
hadoop104

注：以上三个节点表示DataNode。


<span style="font-family: Arial, Helvetica, sans-serif; background-color: rgb(255, 255, 255);">3.使用虚拟机再复制出4个虚拟机。把IP和主机名修改一下，同时修改/etc/hosts文件。在这里要确保5个节点之间相互都可以使用ssh免密码登录。</span>

4.执行命令启动集群

以下命令严格注意执行顺序，不能颠倒！


4.1 启动JournalNode集群

在hadoop100、hadoop101、hadoop102上，执行命令hadoop-daemon.sh start journalnode


4.2 格式化一个NameNode

在hadoop100执行命令hdfs namemode -format


4.3 启动一个NameNode

在hadoop100 执行命令 hadoop-daemon.sh start namenode


4.4 格式化另一个NameNode

在hadoop101执行命令 hdfs namenode -bootstrapStandby


4.5 启动另一个NameNode

在hadoop101执行命令 hadoop -daemon.sh start namenode


这时候，使用浏览器访问http://hadoop100:50070和http://hadoop101:50070。如果能够看到两个页面，证明NameNode启动了。这时，两个NameNode的的状态都是standby。


4.6 转换成active

在hadoop100执行命令hdfs haddmin  -transitionToActive hadoop100

再使用浏览器访问http://hadoop100:50070 和http://hadoop101:50070，会发现hadoop100节点变为active。hadoop101还是standby。


4.7 启动DataNode

在hadoop100执行命令 hadoop-daemons.sh start datanode 会启动DataNode节点。



这时候HA集群就启动了。


你如果想实验一下NameNode切换，执行命令 hdfs haadmin -failover -forceactive hadoop100 hadoop101

这时候观察hadoop100和hadoop101的状态，就会发现，已经改变了。

注：切换之后，如果想上传数据，还需要修改core-site.xml中的fs.default.name的值，该为hdfs://hadoop101:9000才行。

如果有的同学配置失败，可以使用我的一键运行脚本，hadoop目录是/usr/local/hadoop，一键脚本放在该目录即可。使用root用户登录，下载地址是http://pan.baidu.com/s/1gdHsVmV









lzm1340458776
关注
专栏目录
Hadoop HA(高可靠）架构原理
Realoyou的博客
03-06 2848
使用Zookeeper 概念： Zookeeper是一个服务是框架，进行对像hadoop 这样程序的协调服务。Hadoop 中HDFS和Yarn 都存在单点故障，尽管在HDFS中还有SNN进行元数据备份，但每隔60m 一次的checkpoint并不能实现HDFS高容错性的特点，所以使用Zookeeper可以协调Hadoop，以选举的形式实现数据备份，避免单点故障。 *条件： ZK部署节...
利用keepalived实现高可靠（HA）配置nginx 的
liu_dong_kang的博客
07-03 684
1.1.  高可靠概念 HA(High Available), 高可用性集群，是保证业务连续性的有效解决方案，一般有两个或两个以上的节点，且分为活动节点及备用节点。 1.2.  高可靠软件keepalived keepalive是一款可以实现高可靠的软件，通常部署在2台服务器上，分为一主一备。Keepalived可以对本机上的进程进行检测，一旦Master检测出某个进程出现问题，将自己切
Hadoop安装及详解配置（附优化）
s441764347的博客
08-17 1091
Hadoop安装及详解配置（附优化） 目录Hadoop安装及详解配置（附优化）Hadoop的历史及版本选择Hadoop的安装Unix系统前置安装工作Hadoop安装Hadoop配置详解hadoop-env.shcore-site.xmlhdfs-site.xmlmapred-site.xmlyarn-site.xml Hadoop的历史及版本选择 由Hadoop之父Doug Cutting独立开发的Nutch为基础，结合了Google公司早期大数据三论文gfs/nfs/mapreduce发展而来 目前包含原
Hadoop3.3.1 HA配置多个namenode（5个Namenode）详细
hxiaowang的博客
09-27 3690
Hadoop3.3.1 HA配置多个namenode（5个Namenode
hadoop namenode深度剖析
09-04 1138
1、NAMENODE内部结构（fsimage+edits+blockmap）      fsimage：保存了最新的元数据检查点；      edits：保存了HDFS中自最新的元数据检查点后的命名空间变化记录；      BlockMap: 在fsimage中，并没有记录每一个block对应到哪几个datanodes的对应表信息，而只是存储了所有的关于namespace的相关信息。而真正每
hadoop2.2.0集群搭建
12-30
### Hadoop 2.2.0 集群搭建详细指南 #### 一、环境配置与准备工作 在开始搭建 Hadoop 2.2.0 的集群之前，我们需要确保所有节点都处于良好的工作状态，并完成一系列的基础环境配置。具体步骤如下： 1. **更新 ...
Hadoop2.2.0集群安装
11-29
### Hadoop2.2.0集群安装：QJM实现HA及Hdfs-site配置详解 #### 一、Hadoop2.2.0完全分布式集群平台安装设置概述 在深入探讨Hadoop2.2.0的安装过程之前，我们需要了解Hadoop的基本架构以及其核心组件——HDFS...
hadoop2.2.0
04-04
总结来说，Hadoop 2.2.0作为Hadoop的重要版本，不仅在分布式存储和计算上提供了高效、可靠的解决方案，还在资源管理、高可用性、安全性和性能优化等方面做出了显著改进，为大数据时代的数据处理奠定了坚实基础。...
Hadoop2.2.0集群搭建手册
06-16
Hadoop2.2.0版本 - 虚拟机VMWare - Linux(ubuntu) ,多节点伪分布环境搭建详细操作手册，可以直接用于完全分布。每一步都有自己详细操作记录和相关说明，几夜风雨的辛劳搭建和测试。 此操作手册搭建的集群详细说明： ...
2021-12-13 hadoop3 编辑日志：FsEditLog
cn987654的博客
12-13 1805
基于源码hadoop-3.3.0 1 概述 我们知道，hdfs中的操作和状态等数据都存在与元数据中，而元数据通过fsimage和edit log管理。 当我们进行第一次namenode格式化的时候，我们会创建fsimage和editlog文件，而如果不是第一次启动，就会加载对应目录下的fsimage和edit log完成namenode的启动，可参见FSNamesystem。 FSImage 是 NameNode 中关于元数据的镜像，一般称为检查点的镜像；会在内存和磁盘中各保存一份，包含了整个HDF
hadoop(10)---hdfs配置文件详解
weixin_34414196的博客
08-20 1218
以下只是简单的对hdfs（hdfs.site.xml）配置文件做一个简单的说明。 <configuration><property><!-- 为namenode集群定义一个services name --><name>dfs.nameservices</name><value>ns1</value></pr...
hdfs介绍
i am me，haha，么么哒。。。
04-07 1488
【使用QJM构建HDFS HA架构(2.2+)】     本文主要介绍HDFS HA特性，以及如何使用QJM(Quorum Journal Manager)特性实现HDFS HA。   一、背景     HDFS集群中只有一个Namenode，这就会引入单点问题；即如果Namenode故障，那么这个集群将不可用，直到Namenode重启或者其他Namenode接入。     有两种方式会
Hadoop2.2.0使用笔记总结（一）
guoyunyuhou的专栏
03-24 571
1、执行Mapreduce程序卡住 安装完毕后执行wordcount程序时，mapreduce任务卡住，注意修改hosts文件，将ip地址映射到主机名 2、非root用户对文件是否有读写权限？        dfs.permissions        false   3、eclipse执行mapReduce程序报空指针 Eclipse运行mapreduce需要配置hadoop环
高可用hadoop集群搭建
dontlikerabbit的博客
03-21 431
准备工作 安装3台centos7 服务器 配置主机名字hd01\hd02\hd03 hostnamectl set-hostname hd01 查询地址 ip addr 连接xshell：填写名称:hostname 主机：ip地址 用户身份验证 可以向xshell窗口拖拽文件： yum -y install lrzsz hostname和ip地址形成映射： vi /etc/hosts 192.168.181.131 hd01 192.168.181.132 hd02 192.168.18
HDFS, 配置项清单
weixin_44129801的博客
05-18 842
1 数据存储 dfs.namenode.name.dir fsimage和edits存储目录 Determines where on the local filesystem the DFS name node should store the name table(fsimage). If this is a comma-delimited list of directories then the name table is replicated in all of the directories, f
dfs.nameservices参数
最新发布
sun13047140038的博客
06-21 2110
dfs.namenode.rpc-address.mycluster.nn1和dfs.namenode.rpc-address.mycluster.nn2：指定活动和备用NameNode的RPC地址。然而，仅设置dfs.nameservices参数是不够的，您还需要配置其他与名称服务相关的参数。这里的示例中，nn1.example.com和nn2.example.com是活动和备用NameNode的主机名，8020是RPC通信所使用的端口号。在这个示例中，mycluster是HDFS集群的名称服务。
NameNode 高可用整体架构概述
www_96的博客
11-30 515
NameNode 高可用整体架构概述 在 Hadoop 1.0 时代，Hadoop 的两大核心组件 HDFS NameNode 和 JobTracker 都存在着单点问题，这其中以 NameNode 的单点问题尤为严重。因为 NameNode 保存了整个 HDFS 的元数据信息，一旦 NameNode 挂掉，整个 HDFS 就无法访问，同时 Hadoop 生态系统...
关于HDFS的NameNode、Secondary NameNode、BackupNode的作用解释
白非马的博客
12-07 4424
先来解释一下HDFS几个节点作用： 1.NameNode节点 运行在单个节点服务器上作为主处理器 存有文件的元数据(哪个数据块在哪里，比如命名空间信息，块信息等。当它运行的时候，这些信息是存在内存中的。但是这些信息也可以持久化到磁盘上。) 直接访问文件的客户端 fsimage - 它是在NameNode启动时对整个文件系统的快照（文件系统镜像文件） edit logs - 它是在NameNode...
hadoop namenode 高可用（HA）搭建指南 QJM方式
热门推荐
dangyifei
05-13 1万+
一、HDFS的高可用性 1.概述          本指南提供了一个HDFS的高可用性（HA）功能的概述，以及如何配置和管理HDFS高可用性(HA)集群。本文档假定读者具有对HDFS集群的组件和节点类型具有一定理解。有关详情，请参阅Apache的HDFS的架构指南。 http://hadoop.apache.org/docs/current/hadoop-yarn/hadoop-yarn-s
Hadoop2.2.0集群HA配置：QJM实现
"Hadoop2.2.0集群安装教程，包含QJM高可用配置和Hdfs-site配置解析，不涉及Hbase和Hive的安装。" 在Hadoop2.2.0版本中，集群安装是一个关键任务，尤其当涉及到高可用性(HA)配置时。Hadoop Distributed File System ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值