因为资源限制，导致namenode启动失败，报错unable to create new native thread

目录

1、namenode日志报错信息

2、问题原因分析

3、问题思考：为什么会线程资源不足呢？

4、检查/etc/security/limits.conf的配置文件

5、处理方法在90-nproc.conf配置文件中追加配置

6、重新启动，nn1顺利启动成功

问题回顾及反思：

---

1、namenode日志报错信息

2022-07-22 14:00:54,578 INFO org.apache.hadoop.ipc.Server: IPC Server Responder: starting
2022-07-22 14:00:54,578 INFO org.apache.hadoop.ipc.Server: IPC Server listener on 9000: starting
2022-07-22 14:00:55,240 ERROR org.apache.hadoop.hdfs.server.namenode.NameNode: Failed to start namenode.
java.lang.OutOfMemoryError: unable to create new native thread
        at java.lang.Thread.start0(Native Method)
        at java.lang.Thread.start(Thread.java:717)
        at org.apache.hadoop.ipc.Server.start(Server.java:2880)
        at org.apache.hadoop.hdfs.server.namenode.NameNodeRpcServer.start(NameNodeRpcServer.java:521)
        at org.apache.hadoop.hdfs.server.namenode.NameNode.startCommonServices(NameNode.java:767)
        at org.apache.hadoop.hdfs.server.namenode.NameNode.initialize(NameNode.java:711)
        at org.apache.hadoop.hdfs.server.namenode.NameNode.<init>(NameNode.java:905)
        at org.apache.hadoop.hdfs.server.namenode.NameNode.<init>(NameNode.java:884)
        at org.apache.hadoop.hdfs.server.namenode.NameNode.createNameNode(NameNode.java:1610)
        at org.apache.hadoop.hdfs.server.namenode.NameNode.main(NameNode.java:1678)
2022-07-22 14:00:55,243 INFO org.apache.hadoop.util.ExitUtil: Exiting with status 1

2、问题原因分析

unable to create new native thread，无法创建新的本机线程。

3、问题思考：为什么会线程资源不足呢？

因为这是一个新搭建的hadoop集群，我回头检查了一下安装文档，在文档上发现了如下配置修改内容。65536，这个线程对于新集群来说完全够用了，为什么没有生效呢？

sed -i '/soft nofile/d' /etc/security/limits.conf
echo '* soft nofile 65536' >> /etc/security/limits.conf
sed -i '/hard nofile/d' /etc/security/limits.conf
echo '* hard nofile 65536' >> /etc/security/limits.conf 

4、检查/etc/security/limits.conf的配置文件

发现确实配置了，但是检查发现没有生效。

网上有人说limits.conf必须重启生效，我们做运维的一般不会轻易重启机器，所以只能用其他办法。

* soft nproc 65535
* hard nproc 65535


# End of file
* soft nofile 65536
* hard nofile 65536

5、处理方法
在90-nproc.conf配置文件中追加配置

* - nproc 65536 
* - nofile 65536

6、重新启动，nn1顺利启动成功

$ jps
5379 JournalNode
19845 NameNode
24042 Jps

问题回顾及反思：

问题原因是在搭建hadoop集群之前，资源限制调整没有生效。所以建议大家在放宽资源限制之前，先删除/etc/security/limits.conf的相关设置，修改/etc/security/limits.d/90-nproc.conf，放宽最大进程数及最大文件句柄数限制。