1. 问题产生
执行HQL命令时,调用 HDFS 始终上传失败,点击History查看日志却无法接通
原因分析:因为在本地环境中通过
start-all.sh
脚本命令启动hadoop各节点后,Historyserver 并没有启动,需要手动启动,因此可以通过命令来手动启动historyserver
2. 问题解决
yarn-site.xml
在yarn中配置日志聚集功能,并重启hadoop平台,重新手启Historyserver
<property>
<!--开启日志聚集功能-->
<name>yarn.log-aggregation-enable</name>
<value>true</value>
</property>
History启停
# 启动
mr-jobhistory-daemon.sh start historyserver
# 关闭
mr-jobhistory-daemon.sh stop historyserver
了解更多知识请戳下: