基于本人写的hadoop伪分布式环境搭建讲解:
链接:https://blog.csdn.net/weixin_39435629/article/details/84841252
查错常用命令汇总:
$>jps (查看hadoop的启动进程)
$>ps -ef | grep java (查看java中的进程)
$>netstat -tnlp (查看启动运行的端口)
$>kill 12345 (关闭12345进程,建议多次运行,确认该进程关闭)
1、首先确认使用服务器配置:
本机:2g内存 该服务器目前只有java和hadoop 内存占用情况
建议:尽量使用差不多的服务器,如果可用内存太少,会导致加载速度太慢,导致启动超时等不必要的问题,影响整体的调试
2、启动时报错,找不到java环境
处理方式:到hadoop的配置文件下,找到hadoop-env.sh中的JAVA_HOME 修改为实际路径
3、启动之后50070(数据节点)能访问,但是8088无法访问:
处理方式:
1、首先确认(ResourceManager NodeManager)已启动,命令(jps)
2、查看端口启动情况(netstat -tnlp)确认8088端口已启动
3.确认关于yarn的配置文件yarn-site.xml中的yarn.resourcemanager.hostname 属性为本机的hostname
4、如果多次重启hadoop集群,建议清除日志文件(/soft/hadoop/logs/)(命令:rm -rf * (使用时慎重,直接清空当前所在文件的所有文件))和总目录下的(/tmp ) 文件下的所有文件 ,然后再次格式化hadoop(命令:hdfs namenode -format),然后重启项目,该步骤建议初学者,当有配置文件修改时就执行,防止别的错误,同时报错也可以进行查看日志文件
注意:大家有不可解决的伪分布式问题,也可以给我留言。