Hbase基本操作

原理：

        HStore存储是HBase存储的核心，由两部分组成，一部分是MemStore，一部分是StoreFiles。MemStore是Sorted Memory Buffer，用户写入的数据首先会放入MemStore，当MemStore满了以后会Flush成一个StoreFile（底层实现是HFile），当StoreFile文件数量增长到一定阈值，会触发Compact合并操作，将多个StoreFiles合并成一个StoreFile，合并过程中会进行版本合并和数据删除，因此可以看出HBase其实只有增加数据，所有的更新和删除操作都是在后续的compact过程中进行的，这使得用户的写操作只要进入内存中就可以立即返回，保证了HBase I/O的高性能。当StoreFiles Compact后，会逐步形成越来越大的StoreFile，当单个StoreFile大小超过一定阈值后，会触发Split操作，同时把当前Region Split成2个Region，父Region会下线，新Split出的2个孩子Region会被HMaster分配到相应的HRegionServer上，使得原先1个Region的压力得以分流到2个Region上。

       HLog的功能：HStore在系统正常工作的前提下是没有问题的，但是在分布式系统环境中，无法避免系统出错或者宕机，因此一旦HRegionServer意外退出，MemStore中的内存数据将会丢失，这就需要引入HLog了。每个HRegionServer中都有一个HLog对象，HLog是一个实现Write Ahead Log的类，在每次用户操作写入MemStore的同时，也会写一份数据到HLog文件中，HLog文件定期会滚动出新的，并删除旧的文件（已持久化到StoreFile中的数据）。当HRegionServer意外终止后，HMaster会通过Zookeeper感知到，HMaster首先会处理遗留的 HLog文件，将其中不同Region的Log数据进行拆分，分别放到相应region的目录下，然后再将失效的region重新分配，领取 到这些region的HRegionServer在Load Region的过程中，会发现有历史HLog需要处理，因此会Replay HLog中的数据到MemStore中，然后flush到StoreFiles，完成数据恢复。

基本操作：

1、连接hbase：

hbase shell

2、创建一个名为 test 的表，这个表只有一个 列族 为 cf：

create 'test','cf'

3、查看有哪些表

list

4、插入数值

第一个行key为row1, 列为 cf:a， 值是 value1。HBase中的列是由 列族前缀和列的名字组成的，以冒号间隔。例如这一行的列名就是a.

put 'test','row1','cf:a','value1'

put 'test','row2','cf:b','value2'

put 'test','row3','cf:c','value3'

5、检查插入情况

scan 'test'

6、Get一行

get 'test','row1'

7、disable 再 drop 这张表，可以清除你刚刚的操作

disable 'test'

drop 'test'

8、flush  刷新表

flush ‘t_person’

9、limit

scan 'terminal_info',{LIMIT=>5}

栗子：

创建hbase表：

create 'cpid_to_platform', {NAME => 'cf', COMPRESSION => 'SNAPPY'}

hbase关联hive表：

hive建表语句：

DROP TABLE IF EXISTS CPID_TO_PLATFORM;

CREATE EXTERNAL TABLE IF NOT EXISTS CPID_TO_PLATFORM(

cpId string,plaform string,platformName string

) STORED BY 'org.apache.hadoop.hive.hbase.HBaseStorageHandler'

WITH SERDEPROPERTIES (

"hbase.columns.mapping" = "cf:plaform,cf:platformName"

) TBLPROPERTIES ("hbase.table.name" = "cpid_to_platform");

给hive表插数据：

insert into CPID_TO_PLATFORM

(cpId,plaform,platformName)

values

('001','01','name01');

 

 

检查hbase工具命令：

hbase hbck

hbck  -details  terminal_info

检查报错：

WARN util.FSUtils:  Skipping region because it has no family dirs: uds://localhost/hbase_prod/data/default/terminal_info/d2a825883948a6e9244b4fb7a35203cb

ERROR util.FSUtils: Could not get region store file map for region: uds://localhost/hbase_prod/data/default/terminal_info/0dce47f4267bbb5859ba390fa6043d70

java.io.FileNotFoundException: No such object exists : uds://localhost/hbase_prod/data/default/terminal_info/0dce47f4267bbb5859ba390fa6043d70/cf/88163d0c39a2411db4247938b6e37783

报错解决方式参考：https://blog.csdn.net/shfshihuafeng/article/details/90734595