HBase运维
QGBigdata
大数据技术相关技术贴
展开
-
【HBase运维】利用HFile的元数据快速统计表的KV数量
在运维HBase的过程中,经常会遇到用户有统计表的行数的需求,如果表的数量比较小,那么在shell 里面采用count 就可以解决问题,一般1-2个region的都可以采用这个方式,而一旦是几十region , 甚至是上百个region 的时候,这个时候用count就不现实了,那么还有没有什么其他方式呢?通过查看HBase的代码,发现了HFile在FixedFileTrailer有一个变量 /** * The number of key/value pairs in the file. Thi原创 2021-04-29 09:48:05 · 401 阅读 · 3 评论 -
【HBase异常】“java.lang.OutOfMemoryError: Requested array size exceeds VM limit”
使用版本CDH5.4.5,HBase1.0.0刚来新公司不久就出现RegionServer宕机事件,报的异常如下:2017-05-12 21:15:26,396 FATAL [B.defaultRpcServer.handler=123,queue=6,port=60020] regionserver.RSRpcServices: Run out of memory; RSRpcServices will abort itself immediatelyjava.lang.OutOfMemoryE原创 2021-04-29 09:47:18 · 954 阅读 · 2 评论