环境:apache hadoop 3.2.2 、机器发生重启,集群异常关闭
现象:重启hdfs和yarn服务,底层namenode和datanode都没有报错,但是在namenode的web ui上报错
这种一般发生在一个namenode挂掉之后,隔一段时间重启,那么这个重启namenode需要加载到最新的fsimage,这种情况就是正常的,根据fsimage大小,加载的时间长短也是不一样的。
如果加载很慢,修改hadoop-env.sh,对其参数进行内存调优
# 扩大一下2个参数的jvm使用内存,原来是512m,改为5120m
export HADOOP_PORTMAP_OPTS="-Xmx5120m $HADOOP_PORTMAP_OPTS"
export HADOOP_CLIENT_OPTS="-Xmx5120m $HADOOP_CLIENT_OPTS"
分发配置文件
重启
问题解决