Hbase基本优化策略
重点
1、适当增大regionServer的内存
2、配置文件根据以下属性优化:
Hbase写优化:
1)Hbase写数据是先写入memStore,然后写入Hlog中,可以考虑同步批量提交或者异步批量提交,异步批量提交可能存在数据丢失的风险;
2)WAL预写日志优化,是否必须,持久化等级,如果可以接受数据部分丢失,可以考虑关闭WAL机制;或者WAL异步写入;
WAL机制(默认开启):是防止memStore缓存数据丢失,可以从日志中恢复,及集群之间数据异步复制;
Hbase读优化:
1)在客户端设置Scan缓存,分批次获取数据,减少网络带宽或者防止客户端因大量数据内存溢出;
2)BlockCache配置是否合理,查询时命中BlockCache的几率大小,Hfile是否过多,过多时文件寻址比较耗费性能,可考虑合并Hfile;
3)表结构设计问题