HBASE

一。概念

HBASE是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，利用HBASE技术可在廉价PC Server上搭建起大规模结构化存储集群。数据以二进制byte数组存储。

二。数据模型（Row key，Columns family，Cell，Time Stamp）

三。常用命令

名称	命令表达式
创建表	create '表名', '列族名1','列族名2','列族名N'
查看所有表	list
描述表	describe  ‘表名’
判断表存在	exists  '表名'
判断是否禁用启用表	is_enabled '表名' is_disabled ‘表名’
添加记录	put  ‘表名’, ‘rowKey’, ‘列族 : 列‘  ,  '值'
查看记录rowkey下的所有数据	get  '表名' , 'rowKey'
查看表中的记录总数	count  '表名'
获取某个列族	get '表名','rowkey','列族'
获取某个列族的某个列	get '表名','rowkey','列族：列’
删除记录	delete  ‘表名’ ,‘行名’ , ‘列族：列'
删除整行	deleteall '表名','rowkey'
删除一张表	先要屏蔽该表，才能对该表进行删除 第一步 disable ‘表名’ ，第二步  drop '表名'
清空表	truncate '表名'
查看所有记录	scan "表名"
查看某个表某个列中所有数据	scan "表名" , {COLUMNS=>'列族名:列名'}
更新记录	就是重写一遍，进行覆盖，hbase没有修改，都是追加

四。体系图

五。写流程

1、 client向hregionserver发送写请求。

2、 hregionserver将数据写到hlog（write ahead log）。为了数据的持久化和恢复。

3、 hregionserver将数据写到内存（memstore）

4、 反馈client写成功。

六。数据flush过程

1、 当memstore数据达到阈值（默认是64M），将数据刷到硬盘，将内存中的数据删除，同时删除Hlog中的历史数据。

2、 并将数据存储到hdfs中。

3、 在hlog中做标记点。

七、数据合并过程

1、 当数据块达到4块，hmaster将数据块加载到本地，进行合并

2、 当合并的数据超过256M，进行拆分，将拆分后的region分配给不同的hregionserver管理

3、 当hregionser宕机后，将hregionserver上的hlog拆分，然后分配给不同的hregionserver加载，修改.META.

4、 注意：hlog会同步到hdfs

八。数据读流程

1、 通过zookeeper和-ROOT- .META.表定位hregionserver。

2、 数据从内存和硬盘合并后返回给client

3、数据块会缓存

九。hmaster的职责

1、管理用户对Table的增、删、改、查操作；

2、记录region在哪台Hregion server上

3、在Region Split后，负责新Region的分配；

4、新机器加入时，管理HRegion Server的负载均衡，调整Region分布

5、在HRegion Server宕机后，负责失效HRegion Server 上的Regions迁移。

十。hregionserver的职责

HRegion Server主要负责响应用户I/O请求，向HDFS文件系统中读写数据，是HBASE中最核心的模块。

HRegion Server管理了很多table的分区，也就是region。

十一。client职责

HBASE Client使用HBASE的RPC机制与HMaster和RegionServer进行通信

管理类操作：Client与HMaster进行RPC；

数据读写类操作：Client与HRegionServer进行RPC。

十二。HBase存储格式

存储在Hadoop HDFS文件系统上，两种文件类型：
1.HFile，HBase中KeyValue数据的存储格式，二进制文件，实际上StoreFile就是对HFile做了轻量级包装，即StoreFile底层就是Hfile
2. HLog File，HBase中WAL（Write Ahead Log） 的存储格式，物理上是Hadoop的Sequence File

十二。HBase性能优化

1.修改linux最大文件数     vi /etc/security/limits.conf

2.修改JVM配置     修改hbase-env.sh文件中的配置参数     HBASE_HEAPSIZE 4000 #HBase使用的 JVM 堆的大小

3.修改HBase配置：hbase-site.xml