hadoop的metrics加入ganglia其实是很简单的,但网络上都是copy,而且文档新旧不一,居然还折腾了一会,太out了。
hadoop版本1.0.3,ganglia版本3.1.2,以下是主要步骤:
1. 修改hadoop/conf/hadoop-metrics2.properties文件
这里有疑惑的是,开始我把以上IP改成NN,JT等这些机器对应ip,ganglia界面死活显示不了hadoop的监控信息,后来还是使用这个239.2.11.71:8649默认地址就行,不管这个ip是否自己的。
补充:239.2.11.71这个是ganglia默认的多播地址,在gmond.conf中设置,如果之前安装的ganglia是配置成集群中某台机器作为单播的统一收集机器,则这里的ip也要随之更改。
2. 重启hadoop集群
hadoop版本1.0.3,ganglia版本3.1.2,以下是主要步骤:
1. 修改hadoop/conf/hadoop-metrics2.properties文件
*.sink.file.class=org.apache.hadoop.metrics2.sink.FileSink
*.sink.ganglia.class=org.apache.hadoop.metrics2.sink.ganglia.GangliaSink31
*.sink.ganglia.period=10
*.sink.ganglia.supportsparse=true
*.sink.ganglia.slope=jvm.metrics.gcCount=zero,jvm.metrics.memHeapUsedM=both
*.sink.ganglia.dmax=jvm.metrics.threadsBlocked=70,jvm.metrics.memHeapUsedM=40
namenode.sink.ganglia.servers=239.2.11.71:8649
datanode.sink.ganglia.servers=239.2.11.71:8649
jobtracker.sink.ganglia.servers=239.2.11.71:8649
tasktracker.sink.ganglia.servers=239.2.11.71:8649
maptask.sink.ganglia.servers=239.2.11.71:8649
reducetask.sink.ganglia.servers=239.2.11.71:8649
这里有疑惑的是,开始我把以上IP改成NN,JT等这些机器对应ip,ganglia界面死活显示不了hadoop的监控信息,后来还是使用这个239.2.11.71:8649默认地址就行,不管这个ip是否自己的。
补充:239.2.11.71这个是ganglia默认的多播地址,在gmond.conf中设置,如果之前安装的ganglia是配置成集群中某台机器作为单播的统一收集机器,则这里的ip也要随之更改。
2. 重启hadoop集群