Hadoop监控
目前采用方案：Zabbix+Hue+Kafka Manager
1.Zabbix
Zabbix主要监控相关进程是否存活以及针对运行时间过长的任务进行报警，目前暂定为1个小时
原理：通过Hadoop提供的jmx接口获取相关数据给zabbix
监控的项目：
进程ResourceManager,NameNode,HMaster 为0的时候触发报警。
Hadoop集群的节点数不为16的时候触发报警。
Hadoop 正在
本文介绍了使用Zabbix、Hue和Kafka Manager对Hadoop集群进行监控的方案。Zabbix通过Hadoop的JMX接口监控进程和任务；Hue提供可视化监控工具，涵盖HDFS、MapReduce等多个组件；Kafka Manager专注于Kafka集群的监控。文章还列举了遇到的问题及其解决方案，包括数据库权限问题、Hive配置错误和HBase Thrift连接问题。
最低0.47元/天 解锁文章
扫一扫
494
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
