HBse集群结构和集群搭建

最新推荐文章于 2023-09-15 16:10:18 发布

弗瑞得姆

最新推荐文章于 2023-09-15 16:10:18 发布

阅读量437

点赞数

文章标签： hbase 大数据过滤器

本文链接：https://blog.csdn.net/aiyin9511/article/details/105572964

版权

本文详细介绍了HBase的集群结构，包括Client、HMaster、RegionServer和Zookeeper的角色。接着阐述了HBase集群的搭建步骤，从部署Zookeeper和Hadoop开始，直至启动并验证HBase集群。此外，还深入探讨了HBase的命令行操作和Java API开发，特别是过滤器的使用，如比较运算符、比较器和不同类型的过滤器，如RowFilter、QualifierFilter和SingleColumnValueFilter等。

摘要由CSDN通过智能技术生成

HBase集群结构

HBase集群结构
HBase基本组件说明：
Client：
包含访问Hbase的接口，并维护cache来加快对Hbase的访问，比如region的位置信息。
HMaster：
是HBase集群的主节点，可以配置多个用来实现HA
为RegionServer分配region
负责Region的负载均衡
发现失效的RegionServer并重新分配其上的region
RegionServer：
Regionserver维护region，处理对这些region的IO请求
Regionserver负责切分在运行过程中变得过大的region
Region:
分布式存储的最小单元。
Zookeeper作用:
通过选举，保证任何时候，集群中只有一个活着的HMaster，HMaster与RegionServers 启动时会向ZooKeeper注册
存贮所有Region的寻址入口
实时监控Region server的上线和下线信息。并实时通知给HMaster
存储HBase的schema和table元数据
Zookeeper的引入使得HMaster不再是单点故障

集群搭建

----先部署一个zookeeper和hadoop集群
（1）上传hbase安装包
（2）解压
（3）配置hbase集群，要修改4个文件
注意：要把hadoop的hdfs-site.xml和core-site.xml 放到hbase/conf下
修改hbase-env.sh

export JAVA_HOME=/export/servers/jdk
//告诉hbase使用外部的zk
export HBASE_MANAGES_ZK=false

修改 hbase-site.xml

<configuration>
	<!-- 指定hbase在HDFS上存储的路径 -->
	<property>
	        <name>hbase.rootdir</name>
	        <value>hdfs://node1:9000/hbase</value>
	</property>
	<!-- 指定hbase是分布式的 -->
	<property>
	        <name>hbase.cluster.distributed</name>
	        <value>true</value>
	</property>
	<!-- 指定zk的地址，多个用“,”分割 -->
	<property>
	        <name>hbase.zookeeper.quorum</name>
	        <value>node1:2181,node2:2181,node3:2181</value>
	</property>
</configuration>

修改 regionservers

node2
node3

修改 backup-masters来指定备用的主节点

[root@itcast01 conf]# vi backup-masters
node2

配置hbase环境变量

vi /etc/profile
export HBASE_HOME=/export/servers/hbase 
Export PATH=$PATH:$HBASE_HOME/bin

拷贝hbase和环境变量到其他节点

scp -r  hbase  node2:$PWD
scp -r  hbase  node3:$PWD
scp  /etc/profile  node2:/etc
scp  /etc/profile  node3:/etc

让所有节点hbase环境变量生效
在所有节点上执行：source /etc/profile
（4）将配置好的HBase拷贝到每一个节点并同步时间。

ntpdate -u cn.pool.ntp.org

(5) 启动所有的hbase进程
首先启动zk集群
./zkServer.sh start
启动hdfs集群
start-dfs.sh
启动hbase，在主节点node1上运行：
start-hbase.sh
(6) 通过浏览器访问hbase管理页面
node1:16010
node2:16010
(7) 为保证集群的可靠性，要启动多个HMaster
hbase-daemon.sh start master
注意：使用jdk8的时候，出现了Java HotSpot™ 64-Bit Server VM warning: ignoring option MaxPermSize=256m; support was removed in 8.0的红色标识。字面意思是MaxPermSize不需要我们配置了，所以我就按照它的方法把default VM arguments中MaxPermSize参数给删掉就不会出现上面的提示了。

命令行演示

基本shell命令

进入hbase命令行
./hbase shell

显示hbase中的表
list

创建user表，包含info、data两个列族
create 'user', 'info', 'data'   
或者
create 'user', {
   NAME => 'info', VERSIONS => '3'}，{
   NAME => 'data'}

向user表中插入信息，row key为rk0001，列族info中添加name列标示符，值为zhangsan
put 'user', 'rk0001', 'info:name', 'zhangsan'

向user表中插入信息，row key为rk0001，列族info中添加gender列标示符，值为female
put 'user', 'rk0001', 'info:gender', 'female'

向user表中插入信息，row key为rk0001，列族info中添加age列标示符，值为20
put 'user', 'rk0001', 'info:age', 20

向user表中插入信息，row key为rk0001，列族data中添加pic列标示符，值为picture
put 'user', 'rk0001', 'data:pic', 'picture'

获取user表中row key为rk0001的所有信息
get 'user', 'rk0001'

获取user表中row key为rk0001，info列族的所有信息
get 'user', 'rk0001', 'info'

获取user表中row key为rk0001，info列族的name、age列标示符的信息
get 'user', 'rk0001', 'info:name', 'info:age'

获取user表中row key为rk0001，info、data列族的信息
get 'user', 'rk0001', 'info', 'data'
get 'user', 'rk0001', {
   COLUMN => ['info', 'data']}

get 'user', 'rk0001', {
   COLUMN => ['info:name', 'data:pic']}

获取user表中row key为rk0001，列族为info，版本号最新5个的信息
get 'user', 'rk0001', {
   COLUMN => 'info', VERSIONS => 2}
get 'user', 'rk0001', {
   COLUMN => 'info:name', VERSIONS => 5}
get 'user', 'rk0001', {
   COLUMN => 'info:name', VERSIONS => 5, TIMERANGE => [1392368783980, 1392380169184]}

获取user表中row key为rk0001，cell的值为zhangsan的信息
get 'people', 'rk0001', {
   FILTER => "ValueFilter(=, 'binary:zhangsan')"}

获取user表中row key为rk0001，列标示符中含有a的信息
get 'people', 'rk0001'