29、Hadoop 运维与生态系统全面解析

Hadoop 运维与生态系统全面解析

1. Hadoop 集群管理界面

在 YARN 中，ResourceManager 的 Web UI 提供了 Hadoop 集群的信息和作业统计数据，包括正在运行、已完成和失败的作业，以及作业历史日志文件。默认情况下，该 UI 可通过 http://<resourcemanagerhost>:8088/ 访问。
- 应用程序状态 ：在左侧侧边栏中，可以查看感兴趣的应用程序状态，如 NEW、SUBMITTED、ACCEPTED、RUNNING、FINISHING、FINISHED、FAILED 或 KILLED。根据应用程序状态，可获取以下信息：
- 应用程序 ID
- 提交用户
- 应用程序名称
- 应用程序所在的调度队列
- 开始/结束时间和状态
- 应用程序历史跟踪 UI 的链接
- 集群指标视图 ：提供了以下信息：
- 总体应用程序状态
- 正在运行的容器数量
- 内存使用情况
- 节点状态
- 节点视图 ：是 NodeManager 服务菜单的前端，显示节点上运行的应用程序的健康和位置信息。每个节点通过自己的 UI 提供主机级别的详细信息和统计数据，包括运行的 Hadoop 版本、可用内存、节点状态以及正在运行的应用程序和容器列表。

graph LR
    A[ResourceManager Web UI]