HBase总结

HBase架构图。。。

HRegionServer的架构图

1. HLog
   首先，一个HRegionServer中就只有一个HLog。
   HLog它是采用一种叫做预写日志（write-ahead logging，简称WAL）的方式来记录数据的日志文件。数据在这个日志文件里
   起到一个备份的作用，它是用来作容灾的。HLog也是存储在HDFS上的。
   当Client想要写数据到HBase数据库中时，数据首先会写到这个HLog中。当数据在HLog中成功保存以后就会告诉客户端：
   我已经成功保存好你要我保存的数据了。随后进行下一步的保存操作。需要注意的是，数据成功保存进HLog中以后，
   仅仅完成了HBase数据存储的三分之一而已。但在这里，不讲这么多。
2. HRegion
   一个HRegionServer中有0 ~ n个HRegion。HRegion同HRegionServer一样，在计算机中都只是一段程序而已。
   一个HRegion代表着一个从“表”中分割出来的“块”，即HRegion代表着Region。很费解吧！HRegion是一段程序，
   Region是一小段逻辑表数据。每一个HRegion内部又维护着0 ~ n个Store，一个Store呢就代表着一个列族。什么是列族？
   在这里先简单地把它理解成是“好几个列的集合”。同时，每一个Store内部又维护着一个MemStore和0 ~ n个StoreFile。
   这个MemStore是一段内存空间。而这个StoreFile就是HFile，是最终存储数据用的在HDFS之上的真实文件。就是说，
   假如你往HBase中保存了你心仪小姐姐的照片，那么这个照片最终会被存储到某一个HFile文件中。
3. HRegionServer是如何存储数据的？
   前面在HLog部分只讲了HBase数据存储的三分之一。HRegionServer在收到数据存储的请求以后，首先会将这些要被存储的数据写到HLog中。当HLog中写成功以后，再将这些数据写到MemStore中。而MemStore由于是内存，你往内存中写数据那速度就快了，
   在往内存中也写成功以后呢，HRegionServer就要向Client返回一个“我已经把你要我保存的数据保存起来了”的信号了。
   但是实际上HRegionServer在“骗”你。这个时候你如果到HDFS的后台上去看，你根本找不到你要保存的那段数据的文件。
   换句话说，HBase之所以要管理起大数据来速度这么快，很大一部分功劳在于它是一个很“狡猾的骗子”。HRegionServer啊，
   只有在MemStore中存储的数据达到一定的量以后，才会一次性的将这些数据输出到HFile中。其实这种方式优点还是很明显的，
   既以提升“Client的响应”速度，又能减少IO操作，在数据存储中，减少IO就意味着延长存储介质的寿命，存储介质寿命延长了更意味着企业能降低运维成本。厉害了。。。
   关于HBase的存储流程，当然没有这么简单，但是在这里仅需要简单地了解这些就够了。

HRegionServer的职责

1. 托管数据 — HMaster负责作决策,HRegionServer来存储实际数据
2. 维护HLog — 负责更新或删除HLog中的内容
3. 大、小合并 — HBase系统中小文件太多后,将它合并成一个大一点的文件
4. 监控Region — 监控Region的尺寸，HRegionServer定期将自己的Region尺寸数据生成报告发给HMaster。
   如果HMaster发现某个Region过大了，就要下达指令，让HRegionServer将这个Region分割成2块。
   下达分割指令的是HMaster，指令的执行者是RegionServer。

如果是从StoreFile里面读取的数据，不是直接返回给客户端，而是先写入BlockCache，再返回给客户端。

【 数据flush过程 】
1）当MemStore数据达到阈值（默认是128M，老版本是64M），将数据刷到硬盘，将内存中的数据删除，同时删除HLog中的历史数据；
2）并将数据存储到HDFS中；
3）在HLog中做标记点。
【 数据合并过程 】
1）当数据块达到3块，Hmaster触发合并操作，Region将数据块加载到本地，进行合并；
2）当合并的数据超过256M，进行拆分，将拆分后的Region分配给不同的HregionServer管理；
3）当HregionServer宕机后，将HregionServer上的hlog拆分，然后分配给不同的HregionServer加载，修改.META.；
4）注意：HLog会同步到HDFS。

未完成 待续…