HBase BucketAllocatorException 异常剖析

最新推荐文章于 2022-07-23 19:41:31 发布

禅克

最新推荐文章于 2022-07-23 19:41:31 发布

阅读量455

点赞数

本文链接：https://blog.csdn.net/weixin_42047967/article/details/105694336

版权

本文分析了HBase中出现的BucketAllocatorException，该异常由于block块大小超过默认缓存限制引起。建议调整hbase.bucketcache.bucket.sizes参数以适应更大block的缓存需求，并介绍了相关源代码解析。

摘要由CSDN通过智能技术生成

近日，观察到HBase集群出现如下WARN日志：

2020-04-18 16:17:03,081 WARN [regionserver/xxx-BucketCacheWriter-1] bucket.BucketCache:Failed allocation for 604acc82edd349ca906939af14464bcb_175674734; org.apache.hadoop.hbase.io.hfile.bucket.BucketAllocatorException: Allocation too big size=1114202; adjust BucketCache sizes hbase.bucketcache.bucket.sizes to accomodate if size seems reasonable and you want it cached.

大概意思是说：由于block块太大（size=1114202）导致BucketAllocator无法为其分配空间，如果想要被缓存并且觉得这样做合理，可以调整参数hbase.bucketcache.bucket.sizes。

默认情况下，HBase BucketCache 能够缓存block的最大值为512KB，即hbase.bucketcache.bucket.sizes=5120,9216,17408,33792,41984,50176,58368,66560,99328,132096,197632,263168,394240,525312，默认14种size标签。如果想要缓存更大的block块，我们可以调整参数为 hbase.bucketcache.bucket.sizes=5120,9216,17408,33792,41984,50176,58368,66560,99328,132096,197632,263168,394240,525312,1049600,2098176，