HBase中LeaseException及ClosedChannelException解决办法

最新推荐文章于 2024-06-22 16:00:38 发布

rzhzhz

最新推荐文章于 2024-06-22 16:00:38 发布

阅读量8.6k

点赞数

分类专栏：云计算 Hbase 文章标签： hbase server output cache 服务器磁盘

本文链接：https://blog.csdn.net/rzhzhz/article/details/7609855

版权

在处理大量数据时，Hive查询HBase出现Scan操作缓慢问题，日志显示LeaseException和ClosedChannelException。这源于HBase客户端与RegionServer间的租约过期。租约超时由hbase.regionserver.lease.period设定，当数据未缓存导致从磁盘加载超时，RegionServer会认为租约过期。解决方法是调整参数，同时增加hbase.regionserver.lease.period和hbase.rpc.timeout，确保RPC超时时间等于或大于租约期限。参考HBASE-4713。

摘要由CSDN通过智能技术生成

随着数据量的增大，HIVE查询HBase的时候又出现了scan数据缓慢的问题，上次是因为跨网段读数据没有设置client端cache，这次是在HBase regionserver的log中出现了如下错误:

org.apache.hadoop.hbase.regionserver.LeaseException: lease '-8841369309248784313' does not exist
        at org.apache.hadoop.hbase.regionserver.Leases.removeLease(Leases.java:230)
        at org.apache.hadoop.hbase.regionserver.HRegionServer.next(HRegionServer.java:1847)
        at sun.reflect.GeneratedMethodAccessor11.invoke(Unknown Source)
        at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:25)
        at java.lang.reflect.Method.invoke(Method.java:597)
        at org.apache.hadoop.hbase.ipc.HBaseRPC$Server.call(HBaseRPC.java:570)
        at org.apache.hadoop.hbase.ipc.HBaseServer$Handler.run(HBaseServer.java:1039)
2012-05-28 13:36:21,181 ERROR org.apache.hadoop.hbase.regionserver.HRegionServer:
org.apache.hadoop.hbase.regionserver.LeaseException: lease '-20083236624351071' does not exist
        at org.apache.hadoop.hbase.regionserver.Leases.removeLease(Leases.java:230)
        at org.apache.hadoop.hbase.regionserver.HRegionServer.next(HRegionServer.java:1847)
        at sun.reflect.GeneratedMethodAccessor11.invoke(Unknown Source)
        at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:25)
        at java