顺序表的基本操作实验报告_2 Hbase基本操作

基本操作

表

1 创建表

create 'stu','info1'

2 扫描查看表数据

scan 'stu'

scan 'stu',{RAW => true, VERSIONS => 10}

3 查看“指定行”或“指定列族:列”的数据 

get 'stu','1001'

get 'stu','1001','info1:name'

4查看表结构 

describe ‘stu’ 

5 删除数据 

删除某 rowkey 的全部数据： 

deleteall 'stu','1001' 

删除某 rowkey 的某一列数据： 

delete 'stu','1002','info:sex' 

6 清空表数据 

truncate 'student' 

提示：清空表的操作顺序为先 disable，然后再 truncate

7 删除表 

首先需要先让该表为 disable 状态： 

disable 'student' 

然后才能 drop 这个表： 

drop 'student' 

8 变更表信息

将 info 列族中的数据存放 3 个版本： 

alter 'stu',{NAME=>'info',VERSIONS=>3} 

get 'stu','1001',{COLUMN=>'info:name',VERSIONS=>3}

9 插入数据到表 

put 'stu','1001','info:sex','male' 

put 'stu','1001','info:age','18'

put 'stu','1002','info:name','Janna' 

命名空间

查看：list_namespace

创建：create_namespace 'bigdata'

创建表：create 'bigdata:stu','info'

更改信息：alter_namespace

查看结构：describe_namespace

删除：drop_namespace

其他

刷写：flush 'stu'

刷写只会删除memstore中过期数据

合并：compact 'stu'

合并会清理掉过期和删除的数据

写流程

1)Client 先访问 zookeeper，获取 hbase:meta 表位于哪个 Region Server。 

2)访问对应的Region Server，获取 hbase:meta 表，根据读请求的 namespace:table/rowkey，查询出目标数据位于哪个 Region Server 中的哪个Region 中。并将该 table 的 region 信息以及 meta 表的位置信息缓存在客户端的 meta cache，方便下次访问。 

3)与目标 Region Server 进行通讯； 

4)将数据顺序写入(追加)到 WAL； 

5)将数据写入对应的 MemStore，数据会在 MemStore 进行排序； 

6)向客户端发送 ack； 

7)等达到 MemStore 的刷写时机后，将数据刷写到 HFile。 

MemStore Flush 

MemStore 刷写时机： 

当某个memstroe 的大小达到了 hbase.hregion.memstore.flush.size (默认值 128M)，其所在 region 的所有 memstore 都会刷写。  当memstore 的大小达到了  hbase.hregion.memstore.flush.size (默认值 128M)  * hbase.hregion.memstore.block.multiplier (默认值 4) 时，

会阻止继续往该 memstore 写数据

当 region server 中 memstore 的总大小达到 

java_heapsize *hbase.regionserver.global.memstore.size (默认值 0.4)  *hbase.regionserver.global.memstore.size.lower.limit (默认值 0.95)，  region 会按照其所有 memstore 的大小顺序(由大到小)依次进行刷写。直到 region server 中所有 memstore 的总大小减小到上述值以下。  当 region server 中 memstore 的总大小达到 

java_heapsize*hbase.regionserver.global.memstore.size(默认值 0.4) 

时，会阻止继续往所有的 memstore 写数据。 

到达自动刷写的时间，也会触发 memstore flush。自动刷新的时间间隔由该属性进行配置 hbase.regionserver.optionalcacheflushinterval (默认 1 小时)。 

读流程 

1)Client 先访问 zookeeper，获取 hbase:meta 表位于哪个 Region Server。 

2)访问对应的 Region Server，获取 hbase:meta 表，根据读请求的 namespace:table/rowkey，查询出目标数据位于哪个 Region Server 中的哪个 Region 中。并将该 table 的 region 信息以及 meta 表的位置信息缓存在客户端的 meta cache，方便下次访问。 

3)与目标 Region Server 进行通讯； 

4)分别在 Block Cache(读缓存)，MemStore 和 Store File(HFile)中查询目标数据，并将查到的所有数据进行合并。此处所有数据是指同一条数据的不同版本(timestamp)或者不同的类型(Put/Delete)。 

5) 将从文件中查询到的数据块(Block，HFile 数据存储单元，默认大小为 64KB)缓存到Block Cache。 

6)将合并后的最终结果返回给客户端。 

StoreFile Compaction 

由于memstore每次刷写都会生成一个新的HFile，且同一个字段的不同版本(timestamp)和不同类型(Put/Delete)有可能会分布在不同的HFile中，因此查询时需要遍历所有的HFile。为了减少 HFile 的个数，以及清理掉过期和删除的数据，会进行 StoreFile Compaction。 

Compaction 分为两种，分别是 Minor Compaction 和 Major Compaction。

Minor Compaction会将临近的若干个较小的 HFile 合并成一个较大的 HFile，但不会清理过期和删除的数据。

Major Compaction 会将一个 Store 下的所有的 HFile 合并成一个大 HFile，并且会清理掉过期和删除的数据。  hbase.hregion.majorcompaction (默认值为7天)建议设置为0进行关闭，手动合并。

Region Split 

默认情况下，每个 Table 起初只有一个 Region，随着数据的不断写入，Region 会自动进行拆分。刚拆分时，两个子 Region 都位于当前的 Region Server，但处于负载均衡的考虑，HMaster 有可能会将某个 Region 转移给其他的 Region Server。  当 1 个 region 中 的某 个 Store 下所有 StoreFile 的总大小超过 Min(R^2* "hbase.hregion.memstore.flush.size",hbase.hregion.max.filesize") 该 Region 就会进行拆分，其中 R 为当前 Region Server 中属于该 Table 的个数(0.94 版本之后)。