hadoop 配置文件配置
hadoop-metrics.properties
修改如下:
# Configuration of the "dfs" context for ganglia
# Pick one: Ganglia 3.0 (former) or Ganglia 3.1 (latter)
# dfs.class=org.apache.hadoop.metrics.ganglia.GangliaContext
dfs.class=org.apache.hadoop.metrics.ganglia.GangliaContext31
dfs.period=10
dfs.servers=239.2.11.71:8649 /*该地址为必须为广播地址,否则采集不到数据!!
# Configuration of the "mapred" context for ganglia
# Pick one: Ganglia 3.0 (former) or Ganglia 3.1 (latter)
# mapred.class=org.apache.hadoop.metrics.ganglia.GangliaContext
mapred.class=org.apache.hadoop.metrics.ganglia.GangliaContext31
mapred.period=10
mapred.servers=239.2.11.71:8649
# Configuration of the "jvm" context for ganglia
jvm.class=org.apache.hadoop.metrics.ganglia.GangliaContext
jvm.period=10
jvm.servers=239.2.11.71:8649
servers地址 239.2.11.71:8649 是广播地址,必须如此设置。
来源:http://blog.csdn.net/a221133/article/details/6947448
--------------------------------------------------
安装ganglia
首先,也是最最最重要的,配置好yum,配置好之后,就非常非常简单了。
注意,如果配置完成后,无法登录ganglia的web页面,而是返回403 forbidden 消息的话。
应该查看 /etc/httpd/conf.d/ganglia.conf,
查看里面的内容,
将
<Location /ganglia>
Order deny,allow
Deny from all
Allow from 127.0.0.1
Allow from ::1
</Location>
改为
<Location /ganglia>
Order deny,allow
# Deny from all
Allow from 127.0.0.1
Allow from ::1
Allow from all
</Location>
其他安装配置内容如下所述。
配置好yum之后,安装方法见链接:
http://heipark.iteye.com/blog/1183270
原文如下:-------------
安装
server端
yum install rrdtool ganglia ganglia-gmetad ganglia-gmond ganglia-web httpd php
client端
yum install ganglia-gmond
配置
Server端
①
> vi /etc/gmond.conf
cluster {
name = "heipark" // 这个名称很重要
....
}
udp_send_channel {
host = 192.168.1.5 // 使用host为单播,mcast_join为多播
port = 8649
ttl = 1
}
udp_recv_channel { // 如果使用单机广播,要删除“mcast_join”和“bind”
port = 8649
}
②
> vi /etc/gmetad.conf
# 配置一个数据源,名称“heipark”要和/etc/gmond.conf中一致,后面的ip为server的ip
data_source "heipark" 192.168.1.5:8649
③
# 开机运行采集进程
chkconfig --levels 235 gmond on
# 开机运行数据存储进程
chkconfig --levels 235 gmetad on
# 开机运行apache服务
chkconfig --levels 235 httpd on
client端
①
# 在server端执行scp,将配置文件分发到client端
scp /etc/gmond.conf root@{ip}:/etc/gmond.conf
②
# 设置开机运行数据采集进程
chkconfig --levels 235 gmond on
运行
Server端
service gmond start
service gmetad start
service httpd start
Client端
service gmond start
测试
# 命令行打印当前活动client
gstat -a
# web显示当前client状态
http://{your_ip}/ganglia
Apache密码验证
通过web方式访问ganglia不需要密码,所以我们通过apache设置密码达到安全目的。
①
htpasswd -c /etc/httpd/conf.d/passwords {your_name}
②
cd /usr/share/ganglia
vi .htaccess // 创建apache目录密码文件,并写入下面内容
AuthType Basic
AuthName "Restricted Files"
AuthUserFile /etc/httpd/conf.d/passwords
Require user {your_name}
③
vi /etc/httpd/conf/httpd.conf
<Directory />
Options FollowSymLinks
AllowOverride None
</Directory>
修改为:
<Directory />
Options FollowSymLinks
AllowOverride AuthConfig
</Directory>
其他参考链接:
----------------------
http://blog.csdn.net/lengzijian/article/details/7102320
★老外神作版本:
http://linuxcluster.wordpress.com/2010/01/01/installing-and-configuring-ganglia-on-centos-5-4/
阿泰菜园版本:
http://arch.huatai.me/?p=280&cpage=1#comment-586
手工配置版本:
http://www.blogjava.net/xylz/archive/2011/07/21/354744.html
hadoop-metrics.properties
修改如下:
# Configuration of the "dfs" context for ganglia
# Pick one: Ganglia 3.0 (former) or Ganglia 3.1 (latter)
# dfs.class=org.apache.hadoop.metrics.ganglia.GangliaContext
dfs.class=org.apache.hadoop.metrics.ganglia.GangliaContext31
dfs.period=10
dfs.servers=239.2.11.71:8649 /*该地址为必须为广播地址,否则采集不到数据!!
# Configuration of the "mapred" context for ganglia
# Pick one: Ganglia 3.0 (former) or Ganglia 3.1 (latter)
# mapred.class=org.apache.hadoop.metrics.ganglia.GangliaContext
mapred.class=org.apache.hadoop.metrics.ganglia.GangliaContext31
mapred.period=10
mapred.servers=239.2.11.71:8649
# Configuration of the "jvm" context for ganglia
jvm.class=org.apache.hadoop.metrics.ganglia.GangliaContext
jvm.period=10
jvm.servers=239.2.11.71:8649
servers地址 239.2.11.71:8649 是广播地址,必须如此设置。
来源:http://blog.csdn.net/a221133/article/details/6947448
--------------------------------------------------
安装ganglia
首先,也是最最最重要的,配置好yum,配置好之后,就非常非常简单了。
注意,如果配置完成后,无法登录ganglia的web页面,而是返回403 forbidden 消息的话。
应该查看 /etc/httpd/conf.d/ganglia.conf,
查看里面的内容,
将
<Location /ganglia>
Order deny,allow
Deny from all
Allow from 127.0.0.1
Allow from ::1
</Location>
改为
<Location /ganglia>
Order deny,allow
# Deny from all
Allow from 127.0.0.1
Allow from ::1
Allow from all
</Location>
其他安装配置内容如下所述。
配置好yum之后,安装方法见链接:
http://heipark.iteye.com/blog/1183270
原文如下:-------------
安装
server端
yum install rrdtool ganglia ganglia-gmetad ganglia-gmond ganglia-web httpd php
client端
yum install ganglia-gmond
配置
Server端
①
> vi /etc/gmond.conf
cluster {
name = "heipark" // 这个名称很重要
....
}
udp_send_channel {
host = 192.168.1.5 // 使用host为单播,mcast_join为多播
port = 8649
ttl = 1
}
udp_recv_channel { // 如果使用单机广播,要删除“mcast_join”和“bind”
port = 8649
}
②
> vi /etc/gmetad.conf
# 配置一个数据源,名称“heipark”要和/etc/gmond.conf中一致,后面的ip为server的ip
data_source "heipark" 192.168.1.5:8649
③
# 开机运行采集进程
chkconfig --levels 235 gmond on
# 开机运行数据存储进程
chkconfig --levels 235 gmetad on
# 开机运行apache服务
chkconfig --levels 235 httpd on
client端
①
# 在server端执行scp,将配置文件分发到client端
scp /etc/gmond.conf root@{ip}:/etc/gmond.conf
②
# 设置开机运行数据采集进程
chkconfig --levels 235 gmond on
运行
Server端
service gmond start
service gmetad start
service httpd start
Client端
service gmond start
测试
# 命令行打印当前活动client
gstat -a
# web显示当前client状态
http://{your_ip}/ganglia
Apache密码验证
通过web方式访问ganglia不需要密码,所以我们通过apache设置密码达到安全目的。
①
htpasswd -c /etc/httpd/conf.d/passwords {your_name}
②
cd /usr/share/ganglia
vi .htaccess // 创建apache目录密码文件,并写入下面内容
AuthType Basic
AuthName "Restricted Files"
AuthUserFile /etc/httpd/conf.d/passwords
Require user {your_name}
③
vi /etc/httpd/conf/httpd.conf
<Directory />
Options FollowSymLinks
AllowOverride None
</Directory>
修改为:
<Directory />
Options FollowSymLinks
AllowOverride AuthConfig
</Directory>
其他参考链接:
----------------------
http://blog.csdn.net/lengzijian/article/details/7102320
★老外神作版本:
http://linuxcluster.wordpress.com/2010/01/01/installing-and-configuring-ganglia-on-centos-5-4/
阿泰菜园版本:
http://arch.huatai.me/?p=280&cpage=1#comment-586
手工配置版本:
http://www.blogjava.net/xylz/archive/2011/07/21/354744.html