Hbase批量写入,歪点子

想优化hbase批量写入速度,搞了个偏门套路,也不知道会不会出问题:

   1)使用HTable ,

hTable = new HTable(conf, TableName.valueOf("storm_wxgz"));
hTable.setWriteBufferSize(10 * 1024 * 1024);//10M
hTable.setAutoFlushTo(false);

2)使用定时器,每一秒去刷新一次

 

 

也不知道对查询是否有影响。

 

  • 2
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
对于HBase批量写入性能优化,可以考虑以下几点: 1. 批量写入操作:使用HBase批量写入操作可以显著提高性能。可以使用HBase提供的`Table#batch()`方法,将多个写入操作放在一个批次中一起提交。这样可以减少网络通信开销和减少多次写入操作的开销。 2. 数据缓冲:在进行批量写入时,可以使用缓冲区来存储数据。将多个写入操作先存储在缓冲区中,然后一次性提交到HBase。这样可以减少磁盘IO和网络开销。可以使用HBase提供的`BufferedMutator`来实现数据缓冲。 3. 批量操作参数调优:在进行批量写入时,可以调整一些参数来优化性能。例如,可以调整批次大小、写入缓冲区大小和最大重试次数等。通过合理调整这些参数,可以提高写入性能。 4. 预分区和预分配Region:在设计HBase表时,可以进行预分区和预分配Region。将数据均匀分布在多个Region中,可以提高写入性能和负载均衡。 5. 数据模型优化:合理设计数据模型也可以提高写入性能。例如,避免频繁更新同一行数据、按照时间戳递增的方式将数据写入等。 6. 硬件优化:合理规划硬件资源也是提高写入性能的重要因素。例如,使用高性能的硬盘、增加HBase集群的节点数、调整网络带宽等。 以上是一些常见的HBase批量写入性能优化的方法,根据具体的场景和需求,可以选择适合的方法进行优化。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值