ganglia监控hadoop的相关指标,要到metrics的 配置文件中配置,这样才能生成rrd文件。但要注意的是,一定要修改模板文件,具体目录为:/usr/lib/deploy/puppet/modules/hadoop/templates/hadoop-metrics2.properties,如果直接去修改hadoop目录下的metrics文件,重启后,会被模板文件重新覆盖。具体的配置如下:
namenode.sink.ganglia.servers=<%= myganglia[1] %>:<%= udp_port %>
datanode.sink.ganglia.servers=<%= myganglia[1] %>:<%= udp_port %>
resourcemanager.sink.ganglia.servers=<%= myganglia[1] %>:<%= udp_port %>
nodemanager.sink.ganglia.servers=<%= myganglia[1] %>:<%= udp_port %>
maptask.sink.ganglia.servers=<%= myganglia[1] %>:<%= udp_port %>
reducetask.sink.ganglia.servers=<%= myganglia[1] %>:<%= udp_port %>
修改以上配置之后,要在每个节点下执行 puppet agent -t 命令,只有这样才能使每个节点中hadoop目录下的hadoop-metrics2.properties文件被刷新。
命令执行成功之后,就要重启所有节点服务器,然后再到rrd文件的生成目录下,查看yarn相关的指标参数文件是否已经生成。
datanode.sink.ganglia.servers=<%= myganglia[1] %>:<%= udp_port %>
resourcemanager.sink.ganglia.servers=<%= myganglia[1] %>:<%= udp_port %>
nodemanager.sink.ganglia.servers=<%= myganglia[1] %>:<%= udp_port %>
maptask.sink.ganglia.servers=<%= myganglia[1] %>:<%= udp_port %>
reducetask.sink.ganglia.servers=<%= myganglia[1] %>:<%= udp_port %>
修改以上配置之后,要在每个节点下执行 puppet agent -t 命令,只有这样才能使每个节点中hadoop目录下的hadoop-metrics2.properties文件被刷新。
命令执行成功之后,就要重启所有节点服务器,然后再到rrd文件的生成目录下,查看yarn相关的指标参数文件是否已经生成。