hbase学习资料整理

hbase整理

1：hbase是啥：
HBase（Hadoop Ddatabase）是一个开源的、面向列，适用于海量数据存储（TB、PB）的、具备高可用、高性能、可灵活扩展伸缩的、支持实时数据读写的分布式存储系统。

2：hbase适用场景：
1.海量数据：TB,PB级别的
 2.高吞吐量：HBase支持高并发读写，通过使用日志文件（HLOG）和内存存储来将随机写转换成顺序写，保证稳定的数据插入速率；读写独立，这两种操作没有冲突。
 3.高效随机读取：低延迟，数据按列存储，数据即索引。并且数据量的增大不会增加时延。
 4.能够同时处理结构化和非结构化的数据：
 5.高可靠性。它的数据由HDFS做了数据冗余，具有高可靠性。
 6.低成本。HBase可构建在廉价的PC上，此外，HBase支持较多的压缩算法降低存储空间。

3：hbase架构：

HBase包含模块：
 Master又叫HMaster，在HA模式下，包含主用Master和备用Master。
主用Master：负责HBase中regionServer的管理，包括表的增删改查；regionServer的负载均衡，region分布调整；region分裂以及分裂后的region分配；regionServer失效后的region迁移等。备用Master：当主用Master故障时，备用Master将取代主用Master对外提供服务。故障恢复后，原主用Master降为备用。
 regionServer
regionServer负责提供表数据读写等服务，是HBase的数据处理和计算单元。regionServer一般与HDFS集群的DataNode部署在一起，实现数据的存储功能。
HBase协作组件：ZooKeeper
ZooKeeper为HBase集群中各进程提供分布式协作服务。各regionServer将自己的信息注册
到Zookeeper中，主用Master据此感知各个regionServer的健康状态。
 HDFS
HDFS为HBase提供高可靠的文件存储服务，HBase的数据全部存储在HDFS中。
4：hbase表设计
Rowkey的设计原则：Rowkey对应的Value字段必须唯一，因此Rowkey必须包含源表至少一个主键，避免数据重复。尽量让数据在每个region上是均匀的，不会存在超大的热点region。
Rowkey的设计在排序上必须与主要的查询条件契合，确保查询性能满足要求。region的提前划分冷热Family的使用。方法有折中法和冗余发

5：建表原则：
周期建表、分表
预分Region
识别可能的热点key区域
使用压缩算法
TTL/Version/Compression/Bloomfilter/Cache
系统并发能力、数据清理能力
利用集群的分布式能力，提高集群业务吞吐量
利用过期时间、版本个数设置等操作，让表能自动清理过期数据

6：hbase读写流程：
1,Client先访问zookeeper，从meta表获取相应region信息，然后找到meta表的数据
2,根据namespace、表名和rowkey根据meta表的数据找到写入数据对应的region信息
3,找到对应的regionserver
4,把数据分别写到HLog和MemStore上一份
4,MemStore达到一个阈值后则把数据刷成一个StoreFile文件。（若MemStore中的数据有丢失，则可以总HLog上恢复）
5,当多个StoreFile文件达到一定的大小后，会触发Compact合并操作，合并为一个StoreFile，（这里同时进行版本的合并和数据删除。）
6,当Storefile大小超过一定阈值后，会把当前的Region分割为两个（Split），并由Hmaster分配到相应的HRegionServer，实现负载均衡

7：基本操作
DML,DDL，表的禁用，权限的管理。

8：regionserver jvm参数调优，配置调优

9：region的合并（批量合并），压缩

10：服务端参数的调优以及客户端参数的调优

11：table以及元数据的健康检查以及修复

12：数据的导入导出方式