【笔记】HBase在资源紧张时降低IO的手段

本文详细介绍了在HBase资源紧张时如何通过表设计、rowkey设计、读写操作优化以及数据角度和HBase本身设置来降低IO。包括增加列族个数、预建分区、合理规划hfile大小、设置maxversion为1等方法,旨在减少磁盘IO,提高系统性能。
摘要由CSDN通过智能技术生成

!注意:

1.一切都是瓶颈的时候(内存、CPU、IO),所有手段都作用不大;
2、没有绝对的有效手段,必须针对场景具体分析;
3、大多数情况下,都是磁盘IO存在问题(CPU和内存其实问题都不大,除非配置太差)。

优化分类:

一、表设计

1.适当增加列族个数,一起读写的列放在一个列族

原理:
family多,获取单个cell数据时就不会去扫描同一个rowkey的所有数据(按列族存储),明显降低IO。

适用场景:
1)读多写少(多family反而增加写的开销,甚至带来过多的split)
2)经常是某些字段一起读(有规律的)
3)内存较为充裕,每个region的每个family对应一个store,每个store对应一个memstore

注意:
1)family不要超过三个
2)如果读少写多,反而整体上增加了IO
3)一般建议单列族,除非IO确实成为瓶颈

2.预建分区

原理:
可以分散IO压力,同时各节点存储也是均匀的,

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值