最近在本地电脑上连接hbase 出现错误 找到一篇不错的博客,在此记录一下,希望能给遇到类似问题的同学提供参考
来源:
http://blog.sina.com.cn/s/blog_637bd4500102vj6p.html
报错信息:
java.util.concurrent.ExecutionException: java.lang.RuntimeException: java.lang.OutOfMemoryError: unable to create new native thread
at java.util.concurrent.FutureTask$Sync.innerGet(FutureTask.java:222)
at java.util.concurrent.FutureTask.get(FutureTask.java:83)
at org.apache.hadoop.hbase.client.HConnectionManager$HConnectionImplementation.processBatchCallback(HConnectionManager.java:1604)
at org.apache.hadoop.hbase.client.HConnectionManager$HConnectionImplementation.processBatch(HConnectionManager.java:1456)
at org.apache.hadoop.hbase.client.HTable.flushCommits(HTable.java:1011)
at org.apache.hadoop.hbase.client.HTable.put(HTable.java:834)
at com.taobao.dump.sapclient.client.HbaseClient.set(HbaseClient.java:224)
分析过程:
http://blog.sina.com.cn/s/blog_637bd4500102vj6p.html
解决:
降低极端情况下的并发,有以下几个方面:
1,container数和单个container中的线程数,在并发处理能力保持不变的情况下,选择合理的container数和线程数。
2,使用HTablePool来统一管理HTable实例,最好是单例,并且设定一个合理的maxSize,如并发时htable实例不够,调用方就先等待,直到有可用的实例。
3,建立htable对象时,指定自己的线程池,这个线程池全局共用,并且维护一个有界队列,当队列满时,请求就等待。
1
2
public HTable(Configuration conf,final byte[] tableName,
final ExecutorService pool)
这个case最后的解决方式是,调低了HTablePool的maxSize。
另一个解决思路,加大系统可创建的最大线程数,关于一个JVM进程最多可以创建多少个线程,请参考 http://jzhihui.iteye.com/blog/1271122 ,但在我们的环境实际测试,只有调整参数/proc/sys/vm/max_map_count才能加大可创建的线程数。如不做调整,则可创建30000+个线程。具体系统层面的因果还待进一步分析。