Hadoop重启失败问题集合

NameNode重启失败问题集合

Hadoop nameNode 启动需要加载Fsimge文件和Edit-log文件。

（1）NameNode GC overhead limit exceeded

![报错信息引用](https://img-blog.csdnimg.cn/20201214115324590.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2plc3NpY29u,size_16,color_FFFFFF,t_70)

看起来是fsimage中的节点数目过多，导致的GC Overhead超过限制。Fsimage是namenode维护的重要文件之一，它包含了整个HDFS文件系统的所有目录信息和文件信息。对于文件来说包含了数据块描述信息、修改时间、访问时间等；对于目录来说，包含了修改时间、访问权限控制信息等。

需要用以下命令查看fsimage文件占用的内存大小：

./hdfs oiv -p XML -printToScreen -i ${fsimage文件路径} -o /tmp/a

cat /tmp/a | egrep “|” | wc -l | awk ‘{printf “Objects=%d : Suggested Xms=%0dm Xmx=%0dm\n”, $1, (($1 / 1000000 )*1024), (($1 / 1000000 )*1024)}’

（1） 解决方案：

解决方案选择：

 1.  将hadoop-env.sh里的调整内存大小

      2. 将hadoop-env.sh里的HADOOP_NAMENODE_OPTS里加上对于Xmx和Xms的配置：

 3.配置：  export HADOOP_NAMENODE_OPTS="-Dhadoop.security.logger=${HADOOP_SECURITY_LOGGER:-INFO,RFAS} -Dhdfs.audit.logger=${HDFS_AUDIT_LOGGER:-INFO,NullAppender}  -Xms6000m -Xmx6000m -XX:+UseCompressedOops -XX:+UseParNewGC -XX:+UseConcMarkSweepGC -XX:+CMSClassUnloadingEnabled -XX:+UseCMSCompactAtFullCollection -XX:CMSFullGCsBeforeCompaction=0 -XX:+CMSParallelRemarkEnabled -XX:+DisableExplicitGC -XX:+UseCMSInitiatingOccupancyOnly -XX:CMSInitiatingOccupancyFraction=75 -XX:SoftRefLRUPolicyMSPerMB=0 $HADOOP_NAMENODE_OPTS"