hbase-创建连接报错 java.lang.OutOfMemoryError: unable to create new native thread

最近在本地电脑上连接hbase 出现错误 找到一篇不错的博客，在此记录一下，希望能给遇到类似问题的同学提供参考

来源：
http://blog.sina.com.cn/s/blog_637bd4500102vj6p.html

报错信息：

java.util.concurrent.ExecutionException: java.lang.RuntimeException: java.lang.OutOfMemoryError: unable to create new native thread
    at java.util.concurrent.FutureTask$Sync.innerGet(FutureTask.java:222)
    at java.util.concurrent.FutureTask.get(FutureTask.java:83)
    at org.apache.hadoop.hbase.client.HConnectionManager$HConnectionImplementation.processBatchCallback(HConnectionManager.java:1604)
    at org.apache.hadoop.hbase.client.HConnectionManager$HConnectionImplementation.processBatch(HConnectionManager.java:1456)
    at org.apache.hadoop.hbase.client.HTable.flushCommits(HTable.java:1011)
    at org.apache.hadoop.hbase.client.HTable.put(HTable.java:834)
    at com.taobao.dump.sapclient.client.HbaseClient.set(HbaseClient.java:224)

分析过程：
http://blog.sina.com.cn/s/blog_637bd4500102vj6p.html

解决：
降低极端情况下的并发，有以下几个方面：
1，container数和单个container中的线程数，在并发处理能力保持不变的情况下，选择合理的container数和线程数。
2，使用HTablePool来统一管理HTable实例，最好是单例，并且设定一个合理的maxSize，如并发时htable实例不够，调用方就先等待，直到有可用的实例。
3，建立htable对象时，指定自己的线程池，这个线程池全局共用，并且维护一个有界队列，当队列满时，请求就等待。
1
2
public HTable(Configuration conf,final byte[] tableName,
final ExecutorService pool)
这个case最后的解决方式是，调低了HTablePool的maxSize。
另一个解决思路，加大系统可创建的最大线程数，关于一个JVM进程最多可以创建多少个线程，请参考 http://jzhihui.iteye.com/blog/1271122 ，但在我们的环境实际测试，只有调整参数/proc/sys/vm/max_map_count才能加大可创建的线程数。如不做调整，则可创建30000+个线程。具体系统层面的因果还待进一步分析。