HBase优化

1.高可用
在 HBase 中 HMaster 负责监控 RegionServer 的生命周期，均衡 RegionServer的负载，如果 HMaster 挂掉了，那么整个 HBase 集群将陷入不健康的状态，并且此时的工作状态并不会维持太久。所以 HBase 支持对 HMaster 的高可用配置。
(1)关闭 HBase 集群（如果没有开启则跳过此步）。

[root@lyx2 hbase120]$ bin/stop-hbase.sh

(2)在 conf 目录下创建 backup-masters 文件。

[root@lyx2 hbase120]$touch conf/backup-masters

(3)在 backup-masters 文件中配置高可用 HMaster 节点。

[root@lyx2 hbase120]$echo lyx3 > conf/backup-masters

(4)将整个 conf 目录 scp 到其他节点

[root@lyx2 hbase120]$scp -r /opt/soft/hbase120/conf/ root@lyx3:/opt/soft/hbase120/
[root@lyx2 hbase120]$scp -r /opt/soft/hbase120/conf/ root@lyx4:/opt/soft/hbase120/

(5)启动hbase并打开页面测试
http://192.168.228.152:60010

2.RowKey设计
设计 rowkey 的主要目的 ，就是让数据均匀的分布于所有的 region 中，在一定程度上防止数据倾斜。
(1)生成随机数、hash、散列值

原本 rowKey 为 1001 的，SHA1 后变成：
dd01903921ea24941c26a48f2cec24e0bb0e8cc7
原本 rowKey 为 3001 的，SHA1 后变成：
49042c54de64a1e9bf0b33e00245660ef92dc7bd
原本 rowKey 为 5001 的，SHA1 后变成：
7b61dec07e02c188790670af43e717f0f46e8913
在做此操作之前，一般我们会选择从数据集中抽取样本，来决定什么样的 rowKey
来 Hash 后作为每个分区的临界值。

(2)字符串反转

20170524000001 转成 10000042507102
20170524000002 转成 20000042507102

这样也可以在一定程度上散列逐步 put 进来的数据。
(3)字符串拼接

20170524000001_a12e
20170524000001_93i7

3.内存优化
(1)HBase 操作过程中需要大量的内存开销
(2)毕竟 Table 是可以缓存在内存中的，一般会分配整个可用内存的 70%给 HBase 的 Java 堆。
(3)不建议分配非常大的堆内存，因为 GC 过程持续太久会导致 RegionServer 处于长期不可用状态
(4)如果因为框架占用内存过高导致系统内存不足，框架一样会被系统服务拖死。

4.基础优化
(1)允许在 HDFS 的文件中追加内容
hdfs-site.xml、hbase-site.xml
①属性:dfs.support.append
②解释:开启 HDFS 追加同步，可以优秀的配合 HBase 的数据同步和持久化。Hadoop2.0 默认值为 true

(2)优化 DataNode 允许的最大文件打开数
hdfs-site.xml
①属性:dfs.datanode.max.transfer.threads
②解释:HBase 一般都会同一时间操作大量的文件，根据集群的数量和规模以及数据动作，设置为 4096 或者更高。默认值：4096。
注意:该操作前提是 Linux 的文件最大数已经设置完成

(3)优化延迟高的数据操作的等待时间
hdfs-site.xml
①属性:dfs.image.transfer.timeout
②解释:如果对于某一次数据操作来讲，延迟非常高，socket 需要等待更长的时间，建议把该值设置为更大的值（默认 60000 毫秒），以确保 socket 不会被timeout 掉

(4)优化数据的写入效率
mapred-site.xml
①属性:mapreduce.map.output.compress
mapreduce.map.output.compress.codec
②解释:开启这两个数据可以大大提高文件的写入效率，减少写入时间。第一个属性值修改为 true ， 第 二 个 属 性 值 修 改 为 ：
org.apache.hadoop.io.compress.GzipCodec 或者其他压缩方式

(5)设置RPC监听数量
hbase-site.xml
①属性:hbase.regionserver.handler.count
②解释:默认值为 30，用于指定 RPC 监听的数量，可以根据客户端的请求数进行调整，读写请求较多时，增加此值

(6)优化HStore文件大小
hbase-site.xml
①属性:hbase.hregion.max.filesize
②解释:默认值10737418240(10GB)，如果需要运行 HBase 的 MR 任务，可以减小此值，因为一个 region 对应一个 map 任务，如果单个 region 过大，会导致 map 任务执行时间过长。该值的意思就是，如果 HFile 的大小达到这个数值，则这个 region 会被切分为两个 Hfile

(7)优化hbase客户端缓存
客户端配置
①属性:hbase.client.write.buffer
②解释:用于指定 HBase 客户端缓存，增大该值可以减少 RPC 调用次数，但是会消耗更多内存，反之则反之。

(8)指定 scan.next 扫描 HBase 所获取的行数
客户端配置
①属性:hbase.client.scanner.caching
②解释:用于指定 scan.next 方法获取的默认行数，值越大，消耗内存越大。

(9)flush、compact、split 机制
当 MemStore 达到阈值，将 Memstore 中的数据 Flush 进 Storefile。
compact机制则是把 flush 出来的小文件合并成大的 Storefile 文件。
split 则是当 Region 达到阈值，会把过大的 Region 一分为二。
①属性:hbase.hregion.memstore.flush.size：134217728
128M 就是 Memstore 的默认阈值
解释:这个参数的作用是当单个 HRegion 内所有的 Memstore 大小总和超过指定值时，flush 该 HRegion 的所有 memstore。RegionServer 的 flush 是通过将请求添加一个队列，模拟生产消费模型来异步处理的。
②属性:hbase.regionserver.global.memstore.size：默认整个堆大小的 40%
解释:regionServer 的全局 memstore 的大小，超过该大小会触发 flush 到磁盘的操作,默认是堆大小的 40%,而且 regionserver 级别的 flush 会阻塞客户端读写。
③属性:hbase.regionserver.global.memstore.size.lower.limit：默认堆大小0.40.95
解释:当 HRegionserver 级别的 flush 操作发送后,会阻塞客户端写,一
直阻塞到整个 HRegionserver 级别的 MemStore 的大小为 堆大小 * 0.4 *0.95 为止。