HBase 提升写入性能的参数 亲测有用!

1.hbase.hstore.blockingStoreFiles

hbase.hstore.blockingStoreFiles1500

在HBase中,一个Region被分成多个HStore,每个HStore由多个StoreFile组成。当一个HStore中的StoreFile数量达到一定阈值时,HBase会将其合并成一个更大的StoreFile,以减少读取StoreFile的次数。blockingStoreFiles参数指定了一个HStore中最多可以有多少个StoreFile,达到这个阈值后,HBase会触发StoreFile的合并操作。如果这个参数设置得太小,会导致频繁的StoreFile合并,影响系统性能;如果设置得太大,会导致一个HStore中的StoreFile数量过多,读取StoreFile的次数增加,也会影响系统性能。因此,需要根据实际情况合理设置blockingStoreFiles参数。

2.hbase.wal.provider

hbase.wal.providermultiwal
hbase.wal.regiongrouping.numgroups 60

这两个组合使用做到多个region写多个wal。
默认是写一个wal会存在写加锁,影响写入性能。

hbase.wal.provider分为defaultProvider、filesystem和multiwal

hbase.wal.regiongrouping.numgroups 只有当hbase.wal.provider为multiwal时才会生效,设置代理提供者的数目,默认值为2


HBase MultiWAL

MultiWAL是一种优化技术,它可以在多个 RegionServer 上同时处理多个 WAL(写入日志),从而提高写入效率。

  1. 提高写入效率: 多个 RegionServer 同时处理多个 WAL,可以大大提高写入效率,缩短写入时间。
  2. 减少数据丢失: 当一个 RegionServer 出现故障时,其他 RegionServer 可以继续处理其他 WAL,从而减少数据丢失的可能性。
  3. 提高系统可靠性: 多个 RegionServer 同时处理多个 WAL,可以提高系统的可靠性,减少系统故障的可能性。
  4. 降低存储成本: 多个 RegionServer 同时处理多个 WAL,可以降低存储成本,减少存储空间的使用。
  5. 提高扩展性: 多个 RegionServer 同时处理多个 WAL,可以提高系统的扩展性,支持更多的写入请求。
     

  • 9
    点赞
  • 9
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
对于HBase的批量写入性能优化,可以考虑以下几点: 1. 批量写入操作:使用HBase的批量写入操作可以显著提高性能。可以使用HBase提供的`Table#batch()`方法,将多个写入操作放在一个批次中一起提交。这样可以减少网络通信开销和减少多次写入操作的开销。 2. 数据缓冲:在进行批量写入时,可以使用缓冲区来存储数据。将多个写入操作先存储在缓冲区中,然后一次性提交到HBase。这样可以减少磁盘IO和网络开销。可以使用HBase提供的`BufferedMutator`来实现数据缓冲。 3. 批量操作参数调优:在进行批量写入时,可以调整一些参数来优化性能。例如,可以调整批次大小、写入缓冲区大小和最大重试次数等。通过合理调整这些参数,可以提高写入性能。 4. 预分区和预分配Region:在设计HBase表时,可以进行预分区和预分配Region。将数据均匀分布在多个Region中,可以提高写入性能和负载均衡。 5. 数据模型优化:合理设计数据模型也可以提高写入性能。例如,避免频繁更新同一行数据、按照时间戳递增的方式将数据写入等。 6. 硬件优化:合理规划硬件资源也是提高写入性能的重要因素。例如,使用高性能的硬盘、增加HBase集群的节点数、调整网络带宽等。 以上是一些常见的HBase批量写入性能优化的方法,根据具体的场景和需求,可以选择适合的方法进行优化。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值