一、HBase初窥使用
1. HBase能做什么及企业海量数据实时查询的需求
该车牌号码1千多条数据的时候、2万条数据的时候的查询速度。HBase表中的数据可以快速查询,关键在于rowkey的设计。
热数据:
经常使用的数据,或近期使用的数据,存储在mysql中。
冷数据:
不经常使用的数据,或近期不使用的数据,存储在hbase中。
HBase依赖于zookeeper进行协作服务。
2. HBase架构设计及表的存储设计
HBase架构:
一个reginserver管理一个区域的数据。
HBase表设计:
3.HBase版本及数据存储模型讲解
版本介绍:
0.98这个版本特别稳定。
数据存储模型:
以字节进行存储,这就用到Bytes工具类进行相互转换。
有的列没有值是不占空间的,因为是以列的形式存储。而rdbms有的字段没有值,为null,是占用空间的。
4.HBase部署架构及安装部署启动
![](https://i-blog.csdnimg.cn/blog_migrate/67c88604c50fcb7d38c4223fd3470d4f.jpeg)
对表进行操作的过程:
客户端先连接zookeeper,查找要操作的表的信息,即被哪个regionserver管理,然后客户端再连接该regionserver进行处理。
Master:
Master只是管理regionserver,哪个regionserver出现异常,进行处理。客户端不经过Master,而是直接与regionserver进行交互。
Hbase的安装:
① 解压
[root@hadoop-senior software]# tar-xzvf hbase-1.2.0-cdh5.13.0.tar.gz -C ../cdh5.13.0/
② 修改hbase-env.xml
这里先让hbase使用自己的zookeeper,如果要使用我们安装的zookeeper要修改如下配置:
修改为false,并修改zookeeper配置文件zoo.cfg:
③ 修改hbase-site.xml
<property> <name>hbase.rootdir</name> <value>hdfs://namenode.example.org:8020/hbase</value> </property> <property> <name>hbase.cluster.distributed</name> <value>true</value> </property> <property> <name>hbase.zookeeper.quorum</name> <value>node-a.example.com,node-b.example.com,node-c.example.com</value> </property> |
![](https://i-blog.csdnimg.cn/blog_migrate/b254a93febbaf34a1f329ec9d3be1aa2.jpeg)
④ 修改regionservers
⑤ 启动HBase
⑥ 查看
可能出现的异常:
查看日志:
[root@hadoop-senior hbase-1.2.0-cdh5.13.0]#tail -200 logs/hbase-root-master-hadoop-senior.log
发现没有退出安全模式
发现磁盘容量已用完
解决:清理磁盘或者扩容。
5. HBase Shell基本使用(创建表,对数据的CRUD操作)
进入Hbash Shell:
查看所有命令:
查看某个命令的用法:
创建表:
create 表名,列簇
查看表结构:
插入数据:
put 表名,rowkey,列簇:列名,列值
put 'user','10001','info:name','zhangsan' put 'user','10001','info:age','25' put 'user','10001','info:sex','male' put 'user','10001','info:address','Shanghai'
put 'user','10002','info:name','lisi' put 'user','10002','info:age','18' put 'user','10002','info:sex','female' put 'user','10002','info:address','Beijing'
put 'user','10003','info:name','zhuyu' put 'user','10003','info:age','22' put 'user','10003','info:sex','male' put 'user','10003','info:address','Zhengzhou' put 'user','10003','info:email','362973941@qq.com' put 'user','10003','info:QQ','362973941' |
数据查询的三种方式:
(按照列排序)
删除数据:
不是立即就删除,而是先打上标签(在进行查询的时候就过滤掉),在storeFile进行合并的时候再进行删除。
删除某个列:
删除某个rowkey的所有数据:
数据的更新:
没有更新,列有多个版本(timestamp),只要添加新版本(timestamp)就行。
6. HBase 表的物理模型讲解
HBase数据写入流程:
预写日志(格式:sequencefile)是为了防止数据还未写到storeFile中,memstore就挂掉了导致数据丢失。
HBase数据读流程:
客户端通过zookeeper找到要读取的数据所在regionserver,通过regionserver找到数据所在的region,然后先读取store中的memstore的数据(防止部分数据还未溢写到storeFile中),再读取storeFile中的数据,最后将多个region中读到的数据合并。
7. 回顾HBase功能、架构和设计
HBase功能:
数据安全性:副本。
HBase需要开启的服务:
HBase表的设计:
NoSQL用于超大规模数据的存储。(例如谷歌或Facebook每天为他们的用户收集万亿比特的数据)。这些类型的数据存储不需要固定的模式,无需多余操作就可以横向扩展。
HBase表的物理模型:
[ startrowkey,stoprowkey ]包头不包尾。
8. HBase中表的Region深入讲解
![](https://i-blog.csdnimg.cn/blog_migrate/970ad28ed31c03318c00c525aba7a11e.jpeg)
因为表在刚创建时,不知道rowkey是什么样的形式,startkey和endkey是未知的,所以为null。当来数据的时候,就插入到该region中,当数据量到达阈值的时候,取一个rowkey作为中间值,进行划分,再产生一个新的region。所以除了第一个region和最后一个region,中间的region的startkey和endkey都是确定的。