HBase 简介
- HBase是一个分布式海量列式非关系型数据库系统，可以提供超大规模数据集的实时随机读写。
- HBase适合海量明细数据的存储，并且后期需要有很好的查询性能（单表超千万、上亿，且并发要求高）
- Habse是列式存储，Mysql是行式存储，在Mysql这类关系型数据库中，空值字段会浪费存储空间，但是Habse使用列式存储，可以减少存储空间占用，并且Habase支持多列
HBase的特点
- 海量存储： 底层基于HDFS存储海量数据
- 列式存储：HBase表的数据是基于列族进行存储的，一个列族包含若干列
- 极易扩展：底层依赖HDFS，当磁盘空间不足的时候，只需要动态增加DataNode服务节点就可以
- 高并发：支持高并发的读写请求
- 稀疏：稀疏主要是针对HBase列的灵活性，在列族中，你可以指定任意多的列，在列数据为空的情况下，是不会占用存储空间的
- 数据的多版本：HBase表中的数据可以有多个版本值，默认情况下是根据版本号去区分，版本号就是插入数据的时间戳
- 数据类型单一：所有的数据在HBase中是以字节数组进行存储
HBase数据模型
- HBase的数据也是以表（有行有列）的形式存储
HBase逻辑架构
- HBase逻辑架构特点：
- Row Key:表的主键，唯一值，会按照字典顺序排序
- 列族：HBase表存储时写入文件会以一个列族为整体存储，同时，一个列族可包含多个列，如上图所示:base_info(基本信息)和skill_level（技能等级）两个列族。
- Region:region时从横向切分的表的一部分，一个habse表可以有多个region，当region过大时还会被且分出新的region
- store:hbase存储时，是以列族为整体存储，所以有多少个列族就会有多少store
HBase物理存储
| 概念 | 描述 |
|---|---|
| NameSpace(数据库) | 命名空间，类似于关系数据库系统中database概念，每个命名空间下有多个表。HBase两个自带的命名空间，分别是hbase和default，hbase中存放的是HBase内置的表，default表是用户默认使用的命名空间，一个表可以自由选择是否有命名空间，如果创建表的时候加上了命名空间后，这个表名字以<Namespace>:<Table>作为区分 |
| Table | 类似于关系型数据库的表概念。不同的是，HBase定义表时只需要声明列族即可，数据属性，比如超时时间(TTL)，压缩算法(COMPRESSION)等，都在列族的定义中定义，不需要声明具体的列 |
| Row(一行逻辑数据) | HBase表中的每行数据都由一个RowKey和多个Column (列)组成。一个行包含了多个列，这些列通过列族来分类,行中的数据所属列族只能从该表所定义的列族中选取,不能定义这个表中不存在的列族，否则报错NoSuchColumnFamilyException。 |
| RowKey (每行数据主键) | Rowkey由用户指定的一串不重复的字符串定义，是一行的唯一标识。数据是按照RowKey 的字典顺序存储的，并且查询数据时只能根据RowKey进行检索，所以Rowkey不能重复，如果使用了之前已经定义的Rowkey，那么会将之前的数据更新掉 |
| Column Family(列族) | 列族是多个列的集合。一个列族可以动态地灵活定义多个列。表的相关属性大部分都定义在列族上，同一个表里的不同列族可以有完全不同的属性配置，但是同一个列族内的所有列都会有相同的属性。列族存在的意义是HBase会把相同列族的列尽量放在同一台机器上，所以说，如果想让某几个列被放到一起，你就给他们定义相同的列族 |
| Column Qualifier (列) | Hbase中的列是可以随意定义的，一个行中的列不限名字、不限数量，只限定列族。因此列必须依赖于列族存在。列的名称前必须带着其所属的列族。例如info: name，info:age |
| TimeStamp(时间戳–》版本) | 用于标识数据的不同版本 (version)。时间戳默认由系统指定，也可以由用户显式指定。在读取单元格的数据时，版本号可以省略，如果不指定，Hbase默认会获取最后一个版本的数据返回! |
| Cell | 一个列中可以存储多个版本的数据。而每个版本就称为一个单元格(Cell)。 |
| Region(表的分区) | Region由一个表的若干行组成。在Region中行的排序按照行键(rowkey)字典排序。Region不能跨RegionSever，且当数据量大的时候，HBase会拆分Region。 |
HBase整体架构
Zookeeper：
- 实现了HMaster的高可用，保存了HBase的元数据信息（地址信息），是所有HBase表的寻址入口
- 对HMaster和HRegionServer实现了监控
HMaster（Master）
- HRegionServer分配Regions到每个HRegionServer，监听每个HRegionServer的状态，维护整个集群的负载均衡
- Hbase集群的元数据是一张存储对应region以及region所在的regionserver信息的Hbase的表，
- 发现失效的Region，并将失效的Region分配到正常的HRegionServer上，维护集群的元数据信息
HRegionServer（RegionServer）
- 负责管理维护自己节点的Region，并接受客户端的读写数据请求
- 切分在运行过程中变大的Region
Region
- 每个HRegion由多个Store构成，每个Store保存一个列族（Columns Family），表有几个列族，则有几个Store，
- 每个Store由一个MemStore和多个StoreFile组成，MemStore是Store在内存中的内容，写到文件后就是StoreFile。StoreFile底层是以HFile的格式保存。
Hbase命令行
-
查看当前数据库中有哪些表
hbase(main):001:0> list -
创建一张student表， 包含base_info、extra_info两个列族
## 这种创建方式会一直保留数据的版本信息 hbase(main):002:0> create 'student', 'base_info', 'extra_info' ## Hbase建表必须指定列族信息，VERSIONS 是指此单元格内的数据可以保留最近的 3 个版本 create 'student', {NAME => 'base_info', VERSIONS => '3'},{NAME =>'extra_info',VERSIONS => '3'} -
向student表中添加数据操作：
-
向student表中插入信息，row key为 rk1，列族base_info中添加name列标示符，值为wang
hbase(main):008:0> put 'student', 'rk1', 'base_info:name', 'wang' -
向student表中插入信息，row key为rk1，列族base_info中添加age列标示符，值为30
hbase(main):009:0> put 'student', 'rk1', 'base_info:age', 30 -
向student表中插入信息，row key为rk1，列族extra_info中添加address列标示符，值为shanghai
hbase(main):011:0> put 'student', 'rk1', 'extra_info:address', 'shanghai'
-
-
通过rowkey进行查询数据
-
获取表中row key为rk1的所有信息
hbase(main):016:0> get 'student', 'rk1' COLUMN CELL base_info:age timestamp=1673665534687, value=30 base_info:name timestamp=1673665497963, value=wang extra_info:address timestamp=1673665569251, value=shanghai 1 row(s) in 0.0480 seconds -
获取student表中row key为rk1，base_info列族的所有信息
hbase(main):022:0> get 'student' ,'rk1','base_info' COLUMN CELL base_info:age timestamp=1673665534687, value=30 base_info:name timestamp=1673665497963, value=wang 1 row(s) in 0.3920 seconds -
获取表中row key为rk1，base_info列族的name、age列标示符的信息
hbase(main):023:0> get 'student', 'rk1', 'base_info:age' COLUMN CELL base_info:age timestamp=1673665534687, value=30 1 row(s) in 0.0570 seconds -
获取student表中row key为rk1，base_info、extra_info列族的信息
get 'student', 'rk1', 'base_info', 'extra_info' get 'student', 'rk1', {COLUMN => ['base_info', 'extra_info']} get 'student', 'rk1', {COLUMN => ['base_info:name','extra_info:address']} -
指定rowkey与列值查询：获取表中row key为rk1，cell的值为wang的信息
hbase(main):026:0> get 'student', 'rk1', {FILTER => "ValueFilter(=,'binary:wang')"} COLUMN CELL base_info:name timestamp=1673665497963, value=wang 1 row(s) in 0.0740 seconds -
指定rowkey与列值模糊查询：获取表中row key为rk1，列标示符中含有a的信息
hbase(main):027:0> get 'student', 'rk1', {FILTER => "(QualifierFilter(=,'substring:a'))"} COLUMN CELL base_info:age timestamp=1673665534687, value=30 base_info:name timestamp=1673665497963, value=wang extra_info:address timestamp=1673665569251, value=shanghai 1 row(s) in 0.0540 seconds
-
-
查询student表中所有数据
hbase(main):028:0> scan 'student' ROW COLUMN+CELL rk1 column=base_info:age, timestamp=1673665534687, value=30 rk1 column=base_info:name, timestamp=1673665497963, value=wang rk1 column=extra_info:address, timestamp=1673665569251, value=shanghai 1 row(s) in 0.0430 seconds -
查询student表中列族为 base_info 的信息
hbase(main):029:0> scan 'student', {COLUMNS => 'base_info'} ROW COLUMN+CELL rk1 column=base_info:age, timestamp=1673665534687, value=30 rk1 column=base_info:name, timestamp=1673 665497963, value=wang 1 row(s) in 0.0230 seconds ## Scan时可以设置是否开启Raw模式,开启Raw模式会返回包括已添加删除标记但是未实际删除的数据 ## VERSIONS指定查询的最大版本数 hbase(main):030:0> scan 'student', {COLUMNS => 'base_info', RAW => true, VERSIONS=> 3} ROW COLUMN+CELL rk1 column=base_info:age, timestamp=1673665534687, value=30 rk1 column=base_info:name, timestamp=1673665497963, value=wang 1 row(s) in 0.0150 sec -
指定多个列族与按照数据值模糊查询：查询student表中列族为 base_info 和 extra_info且列标示符中含有a字符的信息
hbase(main):031:0> scan 'student', {COLUMNS => ['base_info', 'extra_info'], FILTER=> "(QualifierFilter(=,'substring:a'))"} ROW COLUMN+CELL rk1 column=base_info:age, timestamp=1673665534687, value=30 rk1 column=base_info:name, timestamp=1673665497963, value=wang rk1 column=extra_info:address, timestamp=1673665569251, value=shanghai 1 row(s) in 0.1030 seconds -
rowkey的范围值查询：查询lagou表中列族为base_info，rk范围是[rk1, rk3)的数据（rowkey底层存储是字典序）按rowkey顺序存储。
hbase(main):032:0> scan 'student', {COLUMNS => 'base_info', STARTROW => 'rk1',ENDROW => 'rk3'} ROW COLUMN+CELL rk1 column=base_info:age, timestamp=1673665534687, value=30 rk1 column=base_info:name, timestamp=1673665497963, value=wang 1 row(s) in 0.0250 seconds -
指定rowkey模糊查询：查询lagou表中row key以rk字符开头的
hbase(main):033:0> scan 'student',{FILTER=>"PrefixFilter('rk')"} ROW COLUMN+CELL rk1 column=base_info:age, timestamp=1673665534687, value=30 rk1 column=base_info:name, timestamp=1673665497963, value=wang rk1 column=extra_info:address, timestamp=1673665569251, value=shanghai 1 row(s) in 0.0440 seconds -
更新操作同插入操作一样，只不过有数据就更新，没数据就添加
-
更新数据值：把student表中rowkey为rk1的base_info列族下的列name修改为liang
hbase(main):034:0> put 'student', 'rk1', 'base_info:name', 'liang' 0 row(s) in 0.1270 seconds hbase(main):036:0> scan 'student' ROW COLUMN+CELL rk1 column=base_info:age, timestamp=1673665534687, value=30 rk1 column=base_info:name, timestamp=1673679591065, value=liang rk1 column=extra_info:address, timestamp=1673665569251, value=shanghai 1 row(s) in 0.0280 seconds
-
-
删除数据和表
-
指定rowkey以及列名进行删除：删除student表row key为rk1，列标示符为 base_info:name 的数据
hbase(main):039:0> delete 'student' ,'rk1' ,'base_info:name' 0 row(s) in 0.0090 seconds -
指定rowkey，列名以及时间戳信息进行删除：删除student表row key为rk1，列标示符为base_info:name的数据
delete 'lagou', 'rk1', 'base_info:name',1600660619655 scan 'lagou', {COLUMNS => 'base_info', RAW => true, VERSIONS=> 3} ROW COLUMN+CELL rk1 column=base_info:name, timestamp=1600660633870,value=zhao rk1 column=base_info:name, timestamp=1600660627447,value=li rk1 column=base_info:name, timestamp=1600660619655,type=Delete rk1 column=base_info:name, timestamp=1600660619655,value=wang 1 row(s) in 0.0070 seconds
-
-
删除 base_info 列族
hbase(main):043:0> alter 'student', 'delete' => 'base_info' Updating all regions with the new schema... 0/1 regions updated. 1/1 regions updated. Done. 0 row(s) in 3.3430 seconds -
删除student表数据
hbase(main):049:0> truncate 'student' Truncating 'student' table (it may take a while): - Disabling table... - Truncating table... 0 row(s) in 3.7000 seconds -
删除student表
#先disable 再drop hbase(main):036:0> disable 'student' hbase(main):037:0> drop 'student' #如果不进行disable，直接drop会报错 ERROR: Table user is enabled. Disable it first.
扫一扫
2734
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
