Hbase+Spring boot实战分布式文件存储-第4章-HBase的优化策略

4-1 HBase优化策略一：服务端优化策略

什么会导致HBase的性能下降
1.JVM内存分配与GC回收策略
这个是大部分java应用程序都会遇到的问题，这里不再阐述
2.与HBase运行机制相关的部分配置不合理
HBase写入时当memstore达到一定的大小会flush到磁盘保存成HFile，当HFile小文件太多会执行compact操作进行合并，对HBase来说，当每一个store只包含一个HFile时，查询效率才是最大的。如果小文件太多的话，查询的时候需要的寻址时间就会越长，因此HBase会通过合并已有的HFile来减少每次磁盘读取数据的寻道时间，从而提高读写速度，这个合并的过程叫做compact，在执行过程compact的过程中，就会阻塞数据的写入和读取。所以进行compact的时机就会很重要，要选择哪些文件，选择哪种线程池才能达到最大的性能，是一个很重要的决策。
当Region的大小达到一定的阈值时会执行split操作，分配到不同的RegionServer进行管理，这个操作也非常消耗资源，可能会导致当前的Region不能读取也不能写入。
上述引出了compact的概念
minor compaction：选取一些小的、相邻的 StoreFile 各他们合并成一个更大的 StoreFile (这里的StoreFile就是HFile)，合并的关键是选择哪些StoreFile进行合并，一次合并几个文件。
major compaction：将所有的 StoreFile 合并成一个 StoreFile，清理无意义数据：被删除的数据、 TTL 过期数据、版本号超过设定版本号的数据。这个过程对资源的消耗更大，是调优的重点。
spilt：当一个region达到一定的大小就会自动split成两个region。
HBase Compact检查
MemStore被fluh到磁盘
用户至此那个shell命令conpact，major compact或者调用了相应的API
HBase后台线程周期性触发检查
Hbase优化策略
常见服务端配置优化
JVM设置和GC设置
适当的增加RegionServer的内存，可以避免full FC，对各种block cache 也会很好的支持
hbase-site.xml部分属性配置
重要的属性如下
常见优化策略
HBase读写性能优化