HBase 的 HA (高可用性)

最新推荐文章于 2024-09-25 22:35:39 发布
最新推荐文章于 2024-09-25 22:35:39 发布
阅读量7.6k 收藏 4
点赞数
分类专栏： 大数据-云计算

http://www.importnew.com/3020.html

http://www.linuxidc.com/Linux/2014-01/95794.htm


1、概述

       至于HMaster，HBase自身是不存在单点故障的。HBase使用ZooKeerper作为中央控制服务。ZooKeeper用于三台以上的服务器集群之中，只要还有超过半数的服务器在线，ZooKeeper就能够正常提供服务。

       HBase将活动主节点、域根节点服务器（root region server）地址以及其它重要的运行数据存放于ZooKeeper。因此，我们就可以在其它机器上开启两个或多个HMaster守护进程，其中第一个启动的HMaster作为HBase机器的活动主节点。

       不过，HDFS的NameNode可能引起集群的单点故障。NameNode保存了HDFS全部文件系统的镜像在自己的本地存储之中。一旦NameNode异常，HDFS就无法使用了，导致HBase也无法使用。HDFS当中还有一个Secondary NameNode，它并不是一个备份NameNode，只是提供了一个NameNode的时间点保存镜像（checkpoint）。所以HBase集群的高可用性，实际上就是保持NameNode的高可用性。

2、NameNode配置

Hadoop中的NameNode好比是人的心脏，非常重要，绝对不可以停止工作。在hadoop1时代，只有一个NameNode。如果该NameNode数据丢失或者不能工作，那么整个集群就不能恢复了。这是hadoop1中的单点问题，也是hadoop1不可靠的表现，如图1所示。hadoop2就解决了这个问题。

image

hadoop2.2.0中HDFS的高可靠指的是可以同时启动2个NameNode。其中一个处于工作状态，另一个处于随时待命状态。这样，当一个NameNode所在的服务器宕机时，可以在数据不丢失的情况下，手工或者自动切换到另一个NameNode提供服务。 

这些NameNode之间通过共享数据，保证数据的状态一致。多个NameNode之间共享数据，可以通过Nnetwork File System或者Quorum Journal Node。前者是通过linux共享的文件系统，属于操作系统的配置；后者是hadoop自身的东西，属于软件的配置。

我们这里讲述使用Quorum Journal Node的配置方式，方式是手工切换。 

集群启动时，可以同时启动2个NameNode。这些NameNode只有一个是active的，另一个属于standby状态。active状态意味着提供服务，standby状态意味着处于休眠状态，只进行数据同步，时刻准备着提供服务，如图2所示。

image

架构 

在一个典型的HA集群中，每个NameNode是一台独立的服务器。在任一时刻，只有一个NameNode处于active状态，另一个处于standby状态。其中，active状态的NameNode负责所有的客户端操作，standby状态的NameNode处于从属地位，维护着数据状态，随时准备切换。 

两个NameNode为了数据同步，会通过一组称作JournalNodes的独立进程进行相互通信。当active状态的NameNode的命名空间有任何修改时，会告知大部分的JournalNodes进程。standby状态的NameNode有能力读取JNs中的变更信息，并且一直监控edit log的变化，把变化应用于自己的命名空间。standby可以确保在集群出错时，命名空间状态已经完全同步了，如图3所示。

image

图3 

为了确保快速切换，standby状态的NameNode有必要知道集群中所有数据块的位置。为了做到这点，所有的datanodes必须配置两个NameNode的地址，发送数据块位置信息和心跳给他们两个。 

对于HA集群而言，确保同一时刻只有一个NameNode处于active状态是至关重要的。否则，两个NameNode的数据状态就会产生分歧，可能丢失数据，或者产生错误的结果。为了保证这点，JNs必须确保同一时刻只有一个NameNode可以向自己写数据。 

硬件资源 

为了部署HA集群，应该准备以下事情：

* NameNode服务器：运行NameNode的服务器应该有相同的硬件配置。

* JournalNode服务器：运行的JournalNode进程非常轻量，可以部署在其他的服务器上。注意：必须允许至少3个节点。当然可以运行更多，但是必须是奇数个，如3、5、7、9个等等。当运行N个节点时，系统可以容忍至少(N-1)/2个节点失败而不影响正常运行。 

在HA集群中，standby状态的NameNode可以完成checkpoint操作，因此没必要配置Secondary NameNode、CheckpointNode、BackupNode。如果真的配置了，还会报错。

配置

 

HA集群需要使用nameservice ID区分一个HDFS集群。另外，HA中还要使用一个词，叫做NameNode ID。同一个集群中的不同NameNode，使用不同的NameNode ID区分。为了支持所有NameNode使用相同的配置文件，因此在配置参数中，需要把“nameservice ID”作为NameNode ID的前缀。

 

HA配置内容是在文件hdfs-site.xml中的。下面介绍关键配置项。

 

dfs.nameservices 命名空间的逻辑名称。如果使用HDFS Federation，可以配置多个命名空间的名称，使用逗号分开即可。

<property>
  <name>dfs.nameservices</name>
  <value>mycluster</value>
</property>

dfs.ha.namenodes.[nameservice ID] 命名空间中所有NameNode的唯一标示名称。可以配置多个，使用逗号分隔。该名称是可以让DataNode知道每个集群的所有NameNode。当前，每个集群最多只能配置两个NameNode。

<property>
  <name>dfs.ha.namenodes.mycluster</name>
  <value>nn1,nn2</value>
</property>


dfs.namenode.rpc-address.[nameservice ID].[name node ID] 每个namenode监听的RPC地址。如下所示

<property>
  <name>dfs.namenode.rpc-address.mycluster.nn1</name>
  <value>machine1.example.com:8020</value>
</property>
<property>
  <name>dfs.namenode.rpc-address.mycluster.nn2</name>
  <value>machine2.example.com:8020</value>
</property>

dfs.namenode.http-address.[nameservice ID].[name node ID] 每个namenode监听的http地址。如下所示

<property>
  <name>dfs.namenode.http-address.mycluster.nn1</name>
  <value>machine1.example.com:50070</value>
</property>
<property>
  <name>dfs.namenode.http-address.mycluster.nn2</name>
  <value>machine2.example.com:50070</value>
</property>

如果启用了安全策略，也应该对每个namenode配置htts-address信息，与此类似。

dfs.namenode.shared.edits.dir 这是NameNode读写JNs组的uri。通过这个uri，NameNodes可以读写edit log内容。URI的格式"qjournal://host1:port1;host2:port2;host3:port3/journalId"。这里的host1、host2、host3指的是Journal Node的地址，这里必须是奇数个，至少3个；其中journalId是集群的唯一标识符，对于多个联邦命名空间，也使用同一个journalId。配置如下

<property>
  <name>dfs.namenode.shared.edits.dir</name>
  <value>qjournal://node1.example.com:8485;node2.example.com:8485;node3.example.com:8485/mycluster</value>
</property>
dfs.client.failover.proxy.provider.[nameservice ID] 这里配置HDFS客户端连接到Active NameNode的一个java类。

 

<property>
  <name>dfs.client.failover.proxy.provider.mycluster</name>
  <value>org.apache.Hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
</property>

 

dfs.ha.fencing.methods 配置active namenode出错时的处理类。当active namenode出错时，一般需要关闭该进程。处理方式可以是ssh也可以是shell。

 

如果使用ssh，配置如下

 

<property>
  <name>dfs.ha.fencing.methods</name>
  <value>sshfence</value>
</property>

<property>
  <name>dfs.ha.fencing.ssh.private-key-files</name>
  <value>/home/exampleuser/.ssh/id_rsa</value>
</property>


这种方法配置简单，推荐使用。

fs.defaultFS 客户端连接HDFS时，默认的路径前缀。如果前面配置了nameservice ID的值是mycluster，那么这里可以配置为授权信息的一部分。

 

可以在core-site.xml中配置如下

 

<property>
  <name>fs.defaultFS</name>
  <value>hdfs://mycluster</value>
</property>
dfs.journalnode.edits.dir 这是JournalNode进程保持逻辑状态的路径。这是在linux服务器文件的绝对路径。

 

配置如下

 

<property>
  <name>dfs.journalnode.edits.dir</name>
  <value>/path/to/journal/node/local/data</value>
</property>

部署

 

以上配置完成后，就可以启动JournalNode进程了。在各个JournalNode机器上执行命令“Hadoop-daemon.sh journalnode”。

 

如果是一个新的HDFS集群，还要首先执行格式化命令“hdfs namenode -format”，紧接着启动本NameNode进程。

如果存在一个已经格式化过的NameNode，并且已经启动了。那么应该把该NameNode的数据同步到另一个没有格式化的NameNode。在未格式化过的NameNode上执行命令“hdfs namenode -bootstrapStandby”。

如果是把一个非HA集群转成HA集群，应该运行命令“hdfs –initializeSharedEdits”，这会初始化JournalNode中的数据。

 

做了这些事情后，就可以启动两个NameNode了。启动成功后，通过web页面观察两个NameNode的状态，都是standby。

 

下面执行命令“hdfs haadmin -failover --forcefence serviceId serviceId2”。就会把NameNode的状态进行安全的切换。其中后面一个会变为active状态。这时候再通过web页面观察就能看到正确结果了。

管理员命令

 

执行命令“hdfs haadmin”，会显示子命令列表，如下

Usage: DFSHAAdmin [-ns <nameserviceId>]
    [-transitionToActive <serviceId>]
    [-transitionToStandby <serviceId>]
    [-failover [--forcefence] [--forceactive] <serviceId> <serviceId>]
    [-getServiceState <serviceId>]
    [-checkHealth <serviceId>]
    [-help <command>]

 

如果要查看具体用法，使用“hdfs  haadmin  -help  <command>”。其中，

 

transitionToActive和transitionToStandby是用于在不同状态之间切换的。这些命令没有任何防护错误，很少使用。

 

failover 初始化一个故障恢复。该命令会从一个失效的NameNode切换到另一个上面。

 

getServiceState 获取当前NameNode的状态。

 

checkHealth 检查NameNode的状态。正常就返回0，否则返回非0值。

以下是我的详细安装过程描述：

1.确定集群结构

我这里采用 5台虚拟机，内存是512MB，硬盘是20GB，以下是我对这5台机器的角色分配。

ip地址 主机名 NameNode JournalNode DataNode
192.168.80.100 hadoop100 是 是 否
192.168.80.101 hadoop101 是 是 否
192.168.80.102 hadoop102 否 是 是
192.168.80.103 hadoop103 否 否 是
192.168.80.104 hadoop104 否 否 是

 

2.设置linux、安装jdk

 

首先在VMWare中安装一台虚拟机，设置ssh免密码登录、设置静态ip为192.168.80.100、设置主机名为hadoop100、编辑/etc/hosts文件、安装jdk等，这些内容参考作者前面的文章。不再累述。

然后修改hadoop的配置文件，下面重点描述。

 

2.1 编辑文件$HADOOP_HOME/etc/hadoop/hadoop-env.sh，修改一行内容如下

export JAVA_HOME=/usr/local/jdk

把这里的JAVA_HOME前面的#去掉，把值改为自己安装的jdk路径；

 

2.2 编辑文件$HADOOP_HOME/etc/hadoop/core-site.xml，修改内容如下所示

<configuration>

<property>

<name>hadoop.tmp.dir</name>

<value>/usr/local/hadoop/tmp</value>

</property>

<property>

<name>fs.default.name</name>

<value>hdfs://hadoop100:9000</value>

</property>

<property>
        <name>ha.zookeeper.quorum</name>
       <value>hadoop1:2181,hadoop2:2181,hadoop3:2181</value>
</property>

</configuration>

以上配置中，name是hadoop.tmp.dir的值表示hadoop存放数据的目录，即包括NameNode的数据，也包括DataNode的数据。该路径任意指定，只要实际存在该文件夹即可。

name是fs.defaultFS的值表示hdfs路径的逻辑名称。因为我们会启动2个NameNode，每个NameNode的位置不一样，那么切换后，用户也要修改代码，很麻烦，因此使用一个逻辑路径，用户就可以不必担心NameNode切换带来的路径不一致问题了。

 

2.3 编辑文件$HADOOP_HOME/etc/hadoop/hdfs-site.xml，修改内容如下所示
<configuration>

<property>

<name>dfs.replication</name>

<value>2</value>

</property>

<property>

<name>dfs.nameservices</name>

<value>cluster1</value>

</property>

<property>

<name>dfs.ha.namenodes.cluster1</name>

<value>hadoop100,hadoop101</value>

</property>

<property>

<name>dfs.namenode.rpc-address.cluster1.hadoop100</name>

<value>hadoop100:9000</value>

</property>

<property>

<name>dfs.namenode.rpc-address.cluster1.hadoop101</name>

<value>hadoop101:9000</value>

</property>

<property>

<name>dfs.namenode.http-address.cluster1.hadoop100</name>

<value>hadoop100:50070</value>

</property>

<property>

<name>dfs.namenode.http-address.cluster1.hadoop101</name>

<value>hadoop101:50070</value>

</property>

<property>

<name>dfs.namenode.shared.edits.dir</name>

<value>qjournal://hadoop100:8485;hadoop101:8485;hadoop102:84

85/cluster1</value>

</property>

<property>

<name>dfs.client.failover.proxy.provider.cluster1</name>

<value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredF

ailoverProxyProvider</value>

</property>

<property>

<name>dfs.ha.fencing.methods</name>

<value>sshfence</value>

</property>

<property>

<name>dfs.ha.fencing.ssh.private-key-files</name>

<value>/root/.ssh/id_rsa</value>

</property>

<property>

<name>dfs.journalnode.edits.dir</name>

<value>/usr/local/hadoop/tmp/journal</value>

</property>

   <property>

        <name>dfs.ha.automatic-failover.enabled</name>

        <value>true</value>

   </property>

</configuration>

 

以上配置信息在前面的描述中已经做了解释。

 

2.4 编辑文件$HADOOP_HOME/etc/hadoop/slaves，修改内容如下所示

hadoop102

hadoop103

hadoop104

表示以上三个节点作为DataNode节点。

 

3.使用虚拟机再复制出4个虚拟机。把ip和主机名修改一下，同时修改/etc/hosts文件。在这里要确保5个节点之间互相都可以使用ssh免密码登录。

 

4.执行命令启动集群

以下命令严格注意执行顺序，不能颠倒！

 

4.1 启动JournalNode集群

在hadoop100、hadoop101、hadoop102上，执行命令 hadoop-daemon.sh start journalnode 

格式化failovercontroler： bin/hdfs zkfc -formatZK


4.2 格式化一个NameNode

在hadoop100执行命令 hdfs namenode –format

 

4.3 启动一个NameNode

在hadoop100执行命令 hadoop-daemon.sh start namenode

 

4.4 格式化另一个NameNode

在hadoop101执行命令 hdfs namenode -bootstrapStandby

 

运行 start-dfs.sh 启动所有进程。

 

4.6 转换active

在hadoop100执行命令 hdfs haadmin -transitionToActive hadoop100

再使用浏览器访问 http://hadoop100:50070 和 http://hadoop101:50070，会发现hadoop100节点变为active，hadoop101还是standby。

 

 

 

3、HBase配置

(1)、将Hadoop的core-site.xml、hdfs-site.xml 复制到HBase的conf目录下

(2)、修改 backup-masters 文件,  添加备份HMaster机器名


荒岛码农
关注
专栏目录
Hbase HA 分布式搭建
Zephyr's Blog
01-01 8034
一 背景 二 HBase 搭建前准备 1 主机规划 2 系统基本配置 jdk ssh hosts 3 网络时间协议 NTP 4 安装 ZooKeeper 三 HBase 安装配置 1 下载解压 HBase 并配置其环境变量 2 配置 hbase-envsh 3 配置 hbase-sitexml 4 hbase-sitexml 配置参数解析 5 配置 regionservers 6 替换 Ha
HBase HA （完全分布式）高可用集群的搭建
weixin_43311978的博客
05-18 1162
hbase，jdk，hadoop版本对应表 http://hbase.apache.org/book.html#java 一、安装Hbase 1、下载HBase 根据上面的版本对应表下载兼容的 Hbase 版本 Apache HBase 官网： https://hbase.apache.org/downloads.html 以我的为例，进入官网 点击 bin 右键复制链接地址 然后在虚拟机中使用 wget 命令下载 cd software wget https://mirrors.tuna.tsingh
国内最全最详细的hadoop2.2.0集群的HA高可靠的最简单配置
吴超沉思录
01-25 1313
简介   hadoop中的NameNode好比是人的心脏，非常重要，绝对不可以停止工作。在hadoop1时代，只有一个NameNode。如果该NameNode数据丢失或者不能工作，那么整个集群就不能恢复了。这是hadoop1中的单点问题，也是hadoop1不可靠的表现，如图1所示。hadoop2就解决了这个问题。 图1   hadoop2.2.0中HDFS的高
分布式数据库——HBase基本操作
最新发布
啊丢_的博客
09-25 1556
以下图片则是hbase启动成功~接下来就可以开始建表啦~count '表名'
Hbase的HA（高可用）
落幕7的博客
10-15 1252
ZooKeeper在HBASE高可用中的作用： 1.元数据同步 2.主备切换 HMaster: 主HMaster在启动时会在ZooKeeper中/master节点注册 备用的HMaster在启动时会在ZooKeeper中backup-masters节点注册 HMaster只有一个，当进程挂了，那么会对HBase集群造成影响（单节点故障） 解决办法：在另外一台服务器上，例如slave1，在启动一个HMaster 启动命令： cd /usr/local/soft/hbase-1.6.0/ ./bin/
HBase的HA
09-22 170
在HBase中Hmaster负责监控RegionServer的生命周期，均衡RegionServer的负载，如果Hmaster挂掉了， 那么整个HBase集群将陷入不健康的状态，并且此时的工作状态并不会维持太久。所以HBase支持对 Hmaster的高可用配置。 1) 关闭HBase集群（如果没有开启则跳过此步） stop-hbase.sh 2) 在co...
HBase HA 高可用集群搭建
harvey的博客
08-10 964
HBase HA 高可用集群搭建
HBase高可用HA.pdf
08-29
在大数据存储和处理领域中，HBase的高可用性（High Availability，简称HA）是保证业务连续性和用户数据安全的关键特性。HBase是一个开源的非关系型分布式数据库，它基于Google的BigTable设计，运行在Hadoop文件系统...
藏经阁-HBase 高可用HA.pdf
09-09
本文将围绕 HBase 高可用HA 的实现经验进行详细的讲解，基于 Sift Science 的实际案例，探讨 HBase 在大规模数据存储和高并发请求下的可用性挑战，并介绍了 Circuit Breaking 的解决方案。 HBase 高可用HA 的必要性...
Hadoop HA高可用集群搭建（Hadoop+Zookeeper+HBase）
03-30
在大数据处理中，高可用集群是非常重要的，Hadoop HA高可用集群可以提供高可靠性和高可用性，确保数据处理不中断。该集群由Hadoop、Zookeeper和HBase三个组件组成，每个组件都扮演着重要的角色。 二、服务器环境和...
hadoop&hbase;高可用测试环境搭建
09-11
2. **HBase高可用性** - **Master HA**：HBase的Master节点负责表和Region的管理。与Hadoop类似，可以配置多个Master节点，其中一个为主，其他为备用。主节点故障时，ZooKeeper会选举新的主节点。 - **...
Hbase-HA(高可用)搭建
weixin_45607513的博客
01-08 361
基础配置 1.保证所有物理主机的时钟同步。 [root@CentOSX ~]# yum install -y ntp -y （下载时间同步服务器） [root@CentOSX ~]# ntpdate time.apple.com（时间校对工具） [root@CentOSA ~]# clock -w （调整RTC时间） 由于Hbase服务器之间需要通过心跳确定服务器是否在正常运行，所以这里在搭建...
HBase的HA模式搭建
xhkldxz的博客
10-25 812
1.解压hbase安装包到/usr/project下; tar -zxvfhbase-1.4.11-bin.tar.gz -C /usr/project/ 2.打开/etc/profile文件，配置hbase环境变量： vi /etc/profile 添加 export HBASE_HOME=/usr/project/hbase export PATH=$PATH:$HBASE_HOME/bin 3.修改hbase-env.sh: [root@master ~]# cd /usr/proj.
Hbase HA 高可用环境搭建
热门推荐
OnTheRoad的博客
03-18 1万+
这是前面博主的总结：基于ZK的Hadoop HA 高可用的环境搭建步骤像中间一些无密登录，用户权限等可参考此博客后面会写一个shell脚本去启动、关闭、重启、查看集群的博客一、安装前准备集群主机规划IP编号安装软件主机名进程192.168.18.27node1jdk/hadoop/hbase主Master27NameNode、DFSZKFailoverController、ResourceMana...
hbase HA
Lee_Suoer的博客
04-26 405
解压缩hbase的安装包，进入conf目录下。 先将hadoop的hdfs-site.xml和core-site.xml 配置文件放到 conf目录下 修改配置文件 hbase-env.sh 要使用外部的zk 配置java的路径 修改hdfs-site.xml <configuration> <property> <n...
hbase HA 高可用
Java日常笔记精选的博客
01-03 142
1.只需要启动多个HMaster $>ssh s102 hbase-daemon.sh start master $>ssh s103 hbase-daemon.sh start master 2.查看进程 jps 3.查看zk中back-masters 4.查看webui中的back-masters 5.手动杀死active master 查看...
Hbase ha高可靠配置（三节点master1,master2,slave）
qq_64125090的博客
09-04 2798
hbase ha 高可靠详细安装与配置
Hbase_HA配置
Regan_Hoo的博客
11-27 464
概述HBase中可以启动多个HMaster，通过Zookeeper的Master Election机制保证总有一个Master运行。所以配置HBase高可用，只需要启动两个HMaster，让Zookeeper自己去选择一个Master Acitve。 HBase配置：① hbase-env.shexport HBASE_OPTS="$HBASE_OPTS -XX:+HeapDumpOnOutOfMe
10.HBase的HA（高可用的）完全分布式配置
weixin_52010459的博客
10-14 1281
HBase的HA完全分布式搭建
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值