Hbase总结整理

• 一、hbase介绍
• 二、hbase shell命令行操作
• 三、hbase高级应用

一、hbase介绍

1_什么是hbase？
1、hbase是建立在hdfs之上，提供高可靠性、高性能、列存储、可伸缩、实时读写nosql的数据库系统；
2、是一个典型的key/value系统；
3、仅能通过主键（row key）和主键的range来检索数据，不支持join等复杂操作，计算和存储能力主要依靠横向扩展。

2_hbase集群结构

Client:
包含访问Hbase的接口，并维护cache来加快对Hbase的访问，比如region的位置信息。
HMaster:
1)是hbase集群的主节点，可以配置多个，用来实现HA
2)为RegionServer分配region
3)负责RegionServer的负载均衡
4)发现失效的RegionServer并重新分配其上的region
ReginServer:
1)Regionserver维护region，处理对这些region的IO请求
2)Regionserver负责切分在运行过程中变得过大的region
**Region:**分布式存储的最小单元。
Zookeeper:
1)通过选举，保证任何时候，集群中只有一个活着的HMaster，HMaster与RegionServers 启动时会向ZooKeeper注册
2)存贮所有Region的寻址入口
3)实时监控Region server的上线和下线信息。并实时通知给HMaster
4)存储HBase的schema和table元数据

3_hbase物理存储

1)Table中的所有行都按照row key的字典序排列。
2)Table 在行的方向上分割为多个Hregion。
3)region按大小分割的(默认10G)，每个表一开始只有一个region，随着数据不断插入表，region不断增大，当增大到一个阀值的时候，Hregion就会等分会两个新的Hregion。当table中的行不断增多，就会有越来越多的Hregion。
4)Hregion是Hbase中分布式存储和负载均衡的最小单元。最小单元就表示不同的Hregion可以分布在不同的HRegion server上。但一个Hregion是不会拆分到多个regionserver上的。
5)HRegion虽然是负载均衡的最小单元，但并不是物理存储的最小单元。
事实上，HRegion由一个或者多个Store组成，每个store保存一个column family。
每个Strore又由一个memStore和0至多个StoreFile组成，memstore位于内存，storefile位于硬盘。客户端检索数据时，先在memstore找，找不到再找storefile。
Store File & HFile结构理解：
StoreFile以HFile格式保存在HDFS上。
Memstore & storefile理解：
1)写操作先写入memstore,当memstore中的数据量达到某个阈值，Hregionserver启动flashcache进程写入storefile,每次写入形成单独一个storefile。
2)当storefile的个数超过一定阈值后（默认参数hbase.hstore.blockingStoreFiles=10），多个storeFile会进行合并，当该region的所有store的storefile大小之和，即所有store的大小超过hbase.hregion.max.filesize=10G时，这个region会被拆分会把当前的region分割成两个，并由Hmaster分配给相应的region服务器，实现负载均衡。
HLog(WAL Log)理解：
1)WAL 意为Write ahead log，该机制用于数据的容错和恢复，Hlog记录数据的所有变更,一旦数据修改，就可以从log中进行恢复。
2)每个HRegionServer中都有一个HLog对象，在每次用户操作写入MemStore的同时，也会写一份数据到HLog文件中，HLog文件定期会滚动出新的，并删除已持久化到StoreFile中的数据。当HRegionServer意外终止后，HMaster会通过Zookeeper感知到，HMaster首先会处理遗留的 HLog文件，将其中不同Region的Log数据进行拆分，分别放到相应region的目录下，然后再将失效的region重新分配，领取到这些region的HRegionServer在Load Region的过程中，会发现有历史HLog需要处理，因此会Replay HLog中的数据到MemStore中，然后flush到StoreFiles，完成数据恢复。

4_hbase寻址机制：