目录
4、检查/etc/security/limits.conf的配置文件
1、namenode日志报错信息
2022-07-22 14:00:54,578 INFO org.apache.hadoop.ipc.Server: IPC Server Responder: starting
2022-07-22 14:00:54,578 INFO org.apache.hadoop.ipc.Server: IPC Server listener on 9000: starting
2022-07-22 14:00:55,240 ERROR org.apache.hadoop.hdfs.server.namenode.NameNode: Failed to start namenode.
java.lang.OutOfMemoryError: unable to create new native thread
at java.lang.Thread.start0(Native Method)
at java.lang.Thread.start(Thread.java:717)
at org.apache.hadoop.ipc.Server.start(Server.java:2880)
at org.apache.hadoop.hdfs.server.namenode.NameNodeRpcServer.start(NameNodeRpcServer.java:521)
at org.apache.hadoop.hdfs.server.namenode.NameNode.startCommonServices(NameNode.java:767)
at org.apache.hadoop.hdfs.server.namenode.NameNode.initialize(NameNode.java:711)
at org.apache.hadoop.hdfs.server.namenode.NameNode.<init>(NameNode.java:905)
at org.apache.hadoop.hdfs.server.namenode.NameNode.<init>(NameNode.java:884)
at org.apache.hadoop.hdfs.server.namenode.NameNode.createNameNode(NameNode.java:1610)
at org.apache.hadoop.hdfs.server.namenode.NameNode.main(NameNode.java:1678)
2022-07-22 14:00:55,243 INFO org.apache.hadoop.util.ExitUtil: Exiting with status 1
2、问题原因分析
unable to create new native thread,无法创建新的本机线程。
3、问题思考:为什么会线程资源不足呢?
因为这是一个新搭建的hadoop集群,我回头检查了一下安装文档,在文档上发现了如下配置修改内容。65536,这个线程对于新集群来说完全够用了,为什么没有生效呢?
sed -i '/soft nofile/d' /etc/security/limits.conf
echo '* soft nofile 65536' >> /etc/security/limits.conf
sed -i '/hard nofile/d' /etc/security/limits.conf
echo '* hard nofile 65536' >> /etc/security/limits.conf
4、检查/etc/security/limits.conf的配置文件
发现确实配置了,但是检查发现没有生效。
网上有人说limits.conf必须重启生效,我们做运维的一般不会轻易重启机器,所以只能用其他办法。
* soft nproc 65535
* hard nproc 65535
# End of file
* soft nofile 65536
* hard nofile 65536
5、处理方法
在90-nproc.conf配置文件中追加配置
* - nproc 65536
* - nofile 65536
6、重新启动,nn1顺利启动成功
$ jps
5379 JournalNode
19845 NameNode
24042 Jps
问题回顾及反思:
问题原因是在搭建hadoop集群之前,资源限制调整没有生效。所以建议大家在放宽资源限制之前,先删除/etc/security/limits.conf的相关设置,修改/etc/security/limits.d/90-nproc.conf,放宽最大进程数及最大文件句柄数限制。