搭建企业级高可用HBase

最新推荐文章于 2023-09-07 12:52:03 发布
最新推荐文章于 2023-09-07 12:52:03 发布
阅读量8.1k 收藏 23
点赞数 5
分类专栏： 大数据 文章标签： hadoop CDH hbase 大数据 高可用
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/carl810224/article/details/52174412
版权

1 HBase介绍

HBase是一个分布式的、面向列的开源数据库，就像Bigtable利用了Google文件系统（File System）所提供的分布式数据存储一样，HBase在Hadoop之上提供了类似于Bigtable的能力。HBase是Apache的Hadoop项目的子项目。HBase不同于一般的关系数据库，它是一个适合于非结构化数据存储的数据库。另一个不同的是HBase基于列的而不是基于行的模式。它是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，利用HBase技术可在廉价PC Server上搭建起大规模结构化存储集群。

HBase的常见使用场景如下：

1、大数据量（100s TB级数据）且有快速随机访问的需求。例如淘宝的交易历史记录，数据量巨大无容置疑，面向普通用户的请求必然要即时响应。

2、容量的优雅扩展。大数据驱使下的动态扩展系统容量是必须的。

3、业务场景简单，不需要关系数据库中很多特性（例如交叉列、交叉表，事务，连接等等）。

4、合理设计rowkey。因为hbase的查询用rowkey是最高效的，也几乎是生产环境下唯一可行的方式。

2 集群规划

在搭建HBase高可用集群时，将HBase的RegionServer部署在HDFS的3个DataNode节点上，HBase的HMaster服务部署在HDFS的2个NameNode（Active和Standby）节点上，部署2个HMaster保证集群的高可用性，防止单点问题。这里使用了独立的ZooKeeper集群，未使用HBase自带的ZooKeeper。下面给出HBase的集群搭建架构图：

搭建HBase HA集群需要首先搭建Hadoop HA集群，其方法可参考我的上一篇文章《Hadoop2.0 HA高可用集群配置详解》。在其基础上加入HBaseHA，规划整个集群由5台主机组成，具体情况如下表所示：

主机名

IP地址

安装的软件

JPS

hadoop-master1

172.16.20.81

Jdk/hadoop/hbase

Namenode/ZKFC/ResourceManager/

JobHistoryServer/HMaster

hadoop-master2

172.16.20.82

Jdk/hadoop/hbase

Namenode/ZKFC/ResourceManager/

WebProxyServer/HMaster

hadoop-slave1

172.16.20.83

Jkd/hadoop/hbase/zookeepe

Datanode/JournalNode/NodeManager/

quorumPeerMain/HRegionServer

hadoop-slave2

172.16.20.84

Jkd/hadoop/hbase/zookeeper

Datanode/JournalNode/NodeManager/

quorumPeerMain/HRegionServer

hadoop-slave3

172.16.20.85

Jkd/hadoop/hbase/zookeeper

Datanode/JournalNode/NodeManager/

quorumPeerMain/HRegionServer

3 企业级系统参数配置

// 查看linux系统最大进程数和最大文件打开数

$ ulimit-a


// 设置linux系统最大进程数和最大文件打开数（设置完重新登录shell）

$ suroot

# vim/etc/security/limits.conf

root    soft   nproc   50000

root    hard   nproc   50000

root    soft   nofile  25535

root    hard   nofile  25535

hadoop    soft   nproc   50000

hadoop    hard   nproc   50000

hadoop    soft   nofile  25535

hadoop    hard   nofile  25535

// 调整linux内核参数

# vim/etc/sysctl.conf

net.ipv4.ip_forward= 0

net.ipv4.conf.default.rp_filter= 1

net.ipv4.conf.default.accept_source_route= 0

kernel.core_users_pid= 1

net.ipv4.tcp_syncookies= 1

net.bridge.bridge-nf-call-ip6tables= 0

net.bridge.bridge-nf-call-iptables= 0

net.bridge.bridge-nf-call-arptables= 0

kernel.mggmnb= 65536

kernel.mggmax= 65536

kernel.shmmax= 68719476736

kernel.shmall= 268435456

net.ipv4.tcp_max_syn_backlog= 65000

net.core.netdev_max_backlog= 32768

net.core.somaxconn= 32768

fs.file-max= 65000

net.core.wmem_default= 8388608

net.core.rmem_default= 8388608

net.core.rmem_max= 16777216

net.core.wmem_max= 16777216

net.ipv4.tcp_timestamps= 1

net.ipv4.tcp_synack_retries= 2

net.ipv4.tcp_syn_retries= 2

net.ipv4.tcp_mem= 94500000 915000000 927000000

net.ipv4.tcp_max_orphans= 3276800

net.ipv4.tcp_tw_reuse= 1

net.ipv4.tcp_tw_recycle= 1

net.ipv4.tcp_keepalive_time= 1200

net.ipv4.tcp_syncookies= 1

net.ipv4.tcp_fin_timeout= 10

net.ipv4.tcp_keepalive_intvl= 15

net.ipv4.tcp_keepalive_probes= 3

net.ipv4.ip_local_port_range= 1024 65535

net.ipv4.conf.eml.send_redirects= 0

net.ipv4.conf.lo.send_redirects= 0

net.ipv4.conf.default.send_redirects= 0

net.ipv4.conf.all.send_redirects= 0

net.ipv4.icmp_echo_ignore_broadcasts= 1

net.ipv4.conf.eml.accept_source_route= 0

net.ipv4.conf.lo.accept_source_route= 0

net.ipv4.conf.default.accept_source_route= 0

net.ipv4.conf.all.accept_source_route= 0

net.ipv4.icmp_ignore_bogus_error_responses= 1

kernel.core_pattern= /tmp/core

vm.overcommit_memory= 1

#sysctl -p

4 HBase HA配置

// 在hadoop-master1节点解压hadoop安装包

$ tar-xvf hbase-1.2.0-cdh5.7.1.tar.gz -C /home/hadoop/app/cdh/

 

// 删除安装包

$ rmhbase-1.2.0-cdh5.7.1.tar.gz

 

// 进入hbase的conf目录

$ cd/home/hadoop/app/cdh/hbase-1.2.0-cdh5.7.1/conf/

 

// 修改hbase-env.sh

$ vimhbase-env.sh

# 配置JDK安装路径

exportJAVA_HOME=/home/hadoop/app/jdk1.7.0_79

# 配置Hadoop安装路径

exportHADOOP_HOME=/home/hadoop/app/cdh/hadoop-2.6.0-cdh5.7.1

# 设置HBase的日志目录

exportHBASE_LOG_DIR=${HBASE_HOME}/logs

# 设置HBase的pid目录

exportHBASE_PID_DIR=${HBASE_HOME}/pids

# 使用独立的ZooKeeper集群

exportHBASE_MANAGES_ZK=false

# 优化配置项

# 设置HBase内存堆的大小

exportHBASE_HEAPSIZE=1024

# 设置HMaster最大可用内存

exportHBASE_MASTER_OPTS="-Xmx512m"

# 设置HRegionServer最大可用内存

exportHBASE_REGIONSERVER_OPTS="-Xmx1024m"

 

// 配置hbase-site.xml

$ vim hbase-site.xml 

<configuration>
  <!-- 设置HRegionServers共享目录 -->
  <property>
    <name>hbase.rootdir</name>
    <value>hdfs://mycluster/hbase</value>
  </property>
  
  <!-- 设置HMaster的rpc端口 -->
  <property>
    <name>hbase.master.port</name>
    <value>16000</value>
  </property>
  
  <!-- 设置HMaster的http端口 -->
  <property>
    <name>hbase.master.info.port</name>
    <value>16010</value>
  </property>
  
  <!-- 指定缓存文件存储的路径 -->
  <property>
    <name>hbase.tmp.dir</name>
    <value>/home/hadoop/app/cdh/hbase-1.2.0-cdh5.7.1/tmp</value>
  </property>

  <!-- 开启分布式模式 -->
  <property>
    <name>hbase.cluster.distributed</name>
    <value>true</value>
  </property>
  
  <!-- 指定ZooKeeper集群位置 -->
  <property>
    <name>hbase.zookeeper.quorum</name>
    <value>hadoop-slave1,hadoop-slave2,hadoop-slave3</value>
  </property>
  
  <!-- 指定ZooKeeper集群端口 -->
  <property>
    <name>hbase.zookeeper.property.clientPort</name>
    <value>2181</value>
  </property>
  
  <!--指定Zookeeper数据目录，需要与ZooKeeper集群上配置相一致 -->
  <property>
    <name>hbase.zookeeper.property.dataDir</name>
    <value>/home/hadoop/app/cdh/zookeeper-3.4.5-cdh5.7.1/data</value>
  </property>
  
  <!-- \\\\\\\\\\以下为优化配置项\\\\\\\\\\ -->
  <!-- 关闭分布式日志拆分 -->
  <property>
    <name>hbase.master.distributed.log.splitting</name>
    <value>false</value>
  </property>
  
  <!-- hbase客户端rpc扫描一次获取的行数 -->
  <property>
    <name>hbase.client.scanner.caching</name>
    <value>2000</value>
  </property>
  
  <!-- HRegion分裂前最大的文件大小（10G） -->
  <property>
    <name>hbase.hregion.max.filesize</name>
    <value>10737418240</value>
  </property>
  
  <!-- HRegionServer中最大的region数量 -->
  <property>
    <name>hbase.regionserver.reginoSplitLimit</name>
    <value>2000</value>
  </property>
  
  <!-- StoreFile的个数超过这个数就开始合并 -->
  <property>
    <name>hbase.hstore.compactionThreshold</name>
    <value>6</value>
  </property>
  
  <!-- 当某一个region的storefile个数达到该值则block写入，等待compact -->
  <property>
    <name>hbase.hstore.blockingStoreFiles</name>
    <value>14</value>
  </property>
  
  <!-- 超过memstore大小的倍数达到该值则block所有写入请求，自我保护 -->
  <property>
    <name>hbase.hregion.memstore.block.multiplier</name>
    <value>20</value>
  </property>
  
  <!-- service工作的sleep间隔 -->
  <property>
    <name>hbase.server.thread.wakefrequency</name>
    <value>500</value>
  </property>
  
  <!-- ZooKeeper客户端同时访问的并发连接数 -->
  <property>
    <name>hbase.zookeeper.property.maxClientCnxns</name>
    <value>2000</value>
  </property>
  
  <!-- 根据业务情况进行配置 -->
  <property>
    <name>hbase.regionserver.global.memstore.lowerLimit</name>
    <value>0.3</value>
  </property>
  <property>
    <name>hbase.regionserver.global.memstore.upperLimit</name>
    <value>0.39</value>
  </property>
  <property>
    <name>hbase.block.cache.size</name>
    <value>0.4</value>
  </property>
  
  <!-- RegionServer的请求处理IO线程数 -->
  <property>
    <name>hbase.reginoserver.handler.count</name>
    <value>300</value>
  </property>
  
  <!-- 客户端最大重试次数 -->
  <property>
    <name>hbase.client.retries.number</name>
    <value>5</value>
  </property>
  
  <!-- 客户端重试的休眠时间 -->
  <property>
    <name>hbase.client.pause</name>
    <value>100</value>
  </property>
</configuration>

// 配置regionservers

$ vimregionservers

hadoop-slave1

hadoop-slave2

hadoop-slave3

 

// 新建backup-masters文件并配置

$ vimbackup-masters

hadoop-master2

 

// 创建hbase的缓存文件目录

$ cd/home/hadoop/app/cdh/hbase-1.2.0-cdh5.7.1/

$ mkdirtmp

 

// 创建hbase的日志文件目录

$ mkdirlogs

 

// 创建hbase的pid文件目录

$ mkdirpids

 

// 将hbase工作目录同步到集群其它节点

$ scp-r /home/hadoop/app/cdh/hbase-1.2.0-cdh5.7.1/hadoop-master2:/home/hadoop/app/cdh/

$ scp-r /home/hadoop/app/cdh/hbase-1.2.0-cdh5.7.1/ hadoop-slave1:/home/hadoop/app/cdh/

$ scp-r /home/hadoop/app/cdh/hbase-1.2.0-cdh5.7.1/ hadoop-slave2:/home/hadoop/app/cdh/

$ scp-r /home/hadoop/app/cdh/hbase-1.2.0-cdh5.7.1/ hadoop-slave3:/home/hadoop/app/cdh/

 

// 在集群各节点上修改用户环境变量

$ vim .bash_profile

export HBASE_HOME=/home/hadoop/app/cdh/hbase-1.2.0-cdh5.7.1

export PATH=$PATH:$HBASE_HOME/bin

$ source.bash_profile

 

// 删除hbase的slf4j-log4j12-1.7.5.jar，解决hbase和hadoop的LSF4J包冲突

$ cd /home/hadoop/app/cdh/hbase-1.2.0-cdh5.7.1/lib

$ mvslf4j-log4j12-1.7.5.jar slf4j-log4j12-1.7.5.jar.bk

5 集群启动

// 启动zookeeper集群（分别在slave1、slave2和slave3上执行）

$ zkServer.shstart

备注：此命令分别在slave1/slave2/slave3节点启动了QuorumPeerMain。

// 启动HDFS（在master1执行）

$ start-dfs.sh

备注：此命令分别在master1/master2节点启动了NameNode和ZKFC，分别在slave1/slave2/slave3节点启动了DataNode和JournalNode。

// 启动YARN（在master2执行）

$ start-yarn.sh

备注：此命令在master2节点启动了ResourceManager，分别在slave1/slave2/slave3节点启动了NodeManager。

// 启动YARN的另一个ResourceManager（在master1执行，用于容灾）

$ yarn-daemon.sh start resourcemanager

备注：此命令在master1节点启动了ResourceManager。

// 启动HBase（在master1执行）

$ start-hbase.sh

备注：此命令分别在master1/master2节点启动了HMaster，分别在slave1/slave2/slave3节点启动了HRegionServer。

6 功能测试

6.1 Web UI

下图为http://hadoop-master1:16010，可看到主Master状态：


下图为http://hadoop-master2:50070，可看到备份Master状态：


6.2 Shell操作

// 连接hbase客户端

$ hbase shell

 

// 创建表，表名为employee，列族为info

> create 'employee','info'

 

// 显示hbase已创建的表，验证表employee是否创建成功

> list

 

// 在表employee中插入测试数据

> put'employee','rowkey01','info:id','1001'

> put'employee','rowkey01','info:name','Henry'

> put 'employee','rowkey01','info:address','Bangalore'

> put'employee','rowkey02','info:id','1002'

> put'employee','rowkey02','info:name','Messi'

 

// 检索表employee中的所有记录

> scan 'employee'

 

// 检索表employee中行键为rowkey01的记录

> get 'employee','rowkey01'

 

// 禁用表employee并删除

> disable 'employee'

> drop 'employee'

 

7 动态替换节点

7.1 Hadoop动态添加节点

（一）设置新节点与集群NameNode的SSH无密码登录

（二）在hosts文件中添加主机名和IP地址，并将该文件同步到集群其它节点

（三）修改hadoop配置文件slaves，加入新节点的主机名

（四）在新节点通过命令hadoop-daemon.shstart datanode和yarn-daemon.sh start nodemanager启动datanode和nodemanager进程

（五）在新节点中通过命令start-balancer.sh均衡当前的HDFS块，在执行前可通过命令Hdfs dfsadmin -setBalancerBandwidth字节数 设置带宽

7.2 Hadoop动态删除节点

（一）在hadoop配置文件hdfs-site.xml中配置如下：

<property>

<name>dfs.hosts.exclude</name>

<value>/home/hadoop/app/cdh/hadoop-2.6.0-cdh5.7.1/etc/hadoop/exclude</value>

</property>

（二）在配置文件exclude中添加需要删除的节点主机名

（三）通过命令hdfsafsadmin -refreshNodes执行节点刷新操作

（四）通过命令hdfsafsadmin -report可查看该节点状况

7.3 HBase动态添加节点

（一）在HBase的配置文件regionserver中添加新节点的主机名

（二）在新节点通过命令hbase-daemon.shstart regionserver启动HRegionServer

（三）进入hbaseshell，通过命令balance_switch true进行region平衡

7.4 HBase动态删除节点

（一）通过命令graceful_stop.sh主机名 停止需要删除的节点

（二）在HBase的配置文件regionserver中移除删除节点的主机名



阳光奶爸
关注
  • 5
    点赞
  • 踩
  • 23
    收藏
    觉得还不错? 一键收藏
  • 7
    评论
专栏目录
大数据HBase（六）：HBase的高可用
Lansonli（蓝深李）的博客
06-30 2116
全网最详细的大数据HBase文章系列，强烈建议收藏加关注！ 新文章都已经列出历史文章目录，帮助大家回顾前面的知识重点。 目录 系列历史文章 前言 HBase的高可用 一、HBASE高可用的简介 二、搭建HBase高可用 1、 在hbase的conf文件夹中创建 backup-masters 文件 2、编辑 backup-masters 添加需求的备份机 3、将配置好的 backup-masters文件发送到node2和node3中 4、启动hbase, 然后在UI界面, 查看是...
高可用HBase的技术实践
02-12
阿里巴巴高级技术专家讲述高可用HBase的技术实践的案例
hbase的安装及高可用配置
没有合适的昵称
08-19 1644
hbase的集群架构 从图中看出hbase的架构其实和hdfs类似的
HBase高可用
m0_58625397的博客
04-23 2065
hbase高可用
Hbase高手之路 -- 第六章 -- HBase的高可用搭建
kc44601的博客
05-01 1419
Hbase高手之路 – 第六章 – HBase的高可用搭建 hbase集群如果只有一个master，一旦master出现故障，将导致整个集群出现故障，所以在世界的生产环境中，需要搭建hbase的高可用。 一、 hbase高可用简介 就是让HMaster的高可用，需要再选择一个或多个节点也作用HMaster，其中只有一个HMaster为active，其他的为backupmaster 二、 搭建hbase高可用 1. 创建backup-masters文件 在hbase的conf文件夹中创建一个backup-ma
【HBase入门】10. HBase高可用、HBase架构、常见问题汇总
CSDNGuoYuying的博客
01-27 1111
考虑关于HBase集群的一个问题，在当前的HBase集群中，只有一个Master，一旦Master出现故障，将会导致HBase不再可用。所以，在实际的生产环境中，是非常有必要搭建一个高可用的HBase集群的。
Hbase高可用集群的安装.docx
09-18
Hbase高可用集群的安装与使用
hadoop&hbase;高可用测试环境搭建
09-11
hadoop&hbase;高可用测试环境搭建，包含搭建脚本和搭建步骤。请详细参见搭建步骤后在使用脚本
Hbase 高可用分布式搭建
08-21
Hbase 高可用分布式搭建,详细版
企业级大数据平台CDH详细搭建过程
11-28
1. CDH架构及安装2. Hadoop安装3. Hive安装4. Hbase安装5. Spark安装6. Kafka安装7. 其他安装测试
Cloudera-HBase最佳实践及优化
03-18
Cloudera 对 HBase最佳实践及优化介绍，权威出品，值得信赖。
HBase（13）：HBase高可用
u013938578的博客
07-01 777
HBase的高可用配置其实就是HMaster的高可用。要搭建HBase的高可用，只需要再选择一个节点作为HMaster，在HBase的conf目录下创建文件backup-masters，然后再backup-masters添加备份Master的记录。一条记录代表一个backup master，可以在文件配置多个记录。
HBase的高可用性是如何实现的？
jakelihua
09-07 286
同时，HBase还使用了Hadoop的复制机制，将数据复制到多个RegionServer上，以实现数据的冗余备份。当一个RegionServer宕机时，ZooKeeper会检测到宕机事件，并将该RegionServer上的数据分配给其他可用的RegionServer，以保证数据的可用性。通过以上代码，我们可以了解到HBase的高可用性是通过数据的复制和分布、ZooKeeper的协调和Master-Slave架构来实现的。接下来，我们创建了一个Put对象，并指定要插入的行键和数据。
HBASE 高可用
荒-于嬉的博客
01-16 2000
为了保证HBASE是高可用的,所依赖的HDFS和zookeeper也要是高可用的. 通过参数hbase.rootdir指定了连接到Hadoop的地址,mycluster表示为Hadoop的集群. HBASE本身的高可用很简单,只要在一个健康的集群其他节点通过命令 hbase-daemon.sh start master启动一个Hmaster进程,这个Hmaster会自动成为backupMaster. 下载安装 wget https://mirrors.tuna.tsinghua.edu.cn/apac.
java.lang.IllegalArgumentException: hostname can't be null这个异常的解决办法分析
热门推荐
hit、run
03-07 2万+
HTTP Status 500 - Request processing failed; nested exception is java.lang.IllegalArgumentException: hostname can't be null type Exception report message Request processing failed; nested exception ...
HBase高可用集群搭建
我爱吃甘蔗的博客
02-09 1481
文章目录前言高可用集群搭建 前言 什么时候用Hbase?Hbase不适合解决所有问题： 首先数据库量要足够多，如果有十亿及百亿行数据，那么Hbase是一个很好的选项，如果只有几百万行甚至不到的数据量，RDBMS是一个很好的选择。因为数据量小的话，真正能工作的机器量少，剩余的机器都处于空闲的状态 其次，如果你不需要辅助索引，静态类型的列，事务等特性，一个已经用RDBMS的系统想要切换到Hbase,则需要重新设计系统。 最后，保证硬件资源足够，每个HDFS集群在少于5个节点的时候，都不能表现的很好。因为HDF
Removing and adding DataNodes in cluster by hadoop
黄刚的技术博客
08-06 1830
You may want to remove or add some DataNodes from your HDFS cluster at some point. In fact ,Removing or adding nodes in Hadoop can be straightforward.Like this, we only do some simply operations, in
Hbase高可用
小生不才的博客
11-13 666
在HBase中HMaster负责监控HRegionServer的生命周期,均衡RegionServer的负载，若HMaster挂掉啦，那么整个HBase集群将陷入不健康的状态，并且此时的工作状态并不会维持太久，所有HBASE的高可用配置。
Hbase搭建（单机和集群）Hmaster高可用
weixin_51893925的博客
04-19 613
1.上传jdk，hadoop，zookeeper，hbase压缩包 2.解压到/usr/local目录下 3.配置jdk，hadoop，zookeeper，hbase环境变量 4.搭建hadoop集群 5.搭建zookeeper集群 6.更改Hbase配置 1.修改hbase-env.sh配置 cd /usr/local/hbase-2.0.5/conf vim hbase-env.sh 修改jdk路径 export JAVA_HOME=/usr/local/jdk1.8.0_201 是否运用hb
hbase高可用性分布式集群搭建
最新发布
11-14
以下是HBase高可用性分布式集群搭建的步骤： 1.安装Java环境和Hadoop集群。 2.下载HBase并解压缩到指定目录。 3.修改HBase配置文件，包括hbase-env.sh、hbase-site.xml和regionservers等。 4.在Zookeeper集群中...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 7
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值