Hue集成YARN
2.1. 修改hue.ini
[[yarn_clusters]]
[[[default]]]
resourcemanager_host=node-1
resourcemanager_port=8032
submit_to=True
resourcemanager_api_url=http://node-1:8088
history_server_api_url=http://node-1:19888
2.2. 开启yarn日志聚集服务
MapReduce 是在各个机器上运行的, 在运行过程中产生的日志存在于各个机器上,为了能够统一查看各个机器的运行日志,将日志集中存放在 HDFS 上, 这个过程就是日志聚集。
<property> ##是否启用日志聚集功能。
<name>yarn.log-aggregation-enable</name>
<value>true</value>
</property>
<property> ##设置日志保留时间,单位是秒。
<name>yarn.log-aggregation.retain-seconds</name>
<value>106800</value>
</property>
2.3. 重启 Yarn、 Hue
build/env/bin/supervisor
集成后的效果