Ganglia安装部署

Ganglia监控Hadoop集群的安装部署

详情请参见 http://boendev.iteye.com/blog/1750615

一、 安装环境

  • CentOS6.5x86_64
  • 安装gmetad的机器:10.2.6.250 (服务端)
  • 安装gmond的机器:10.2.6.250,10.2.6.246,10.2.6.248,10.2.6.249
  • 浏览监控web页面的机器:10.2.6.250

二、 介绍

​ Ganglia 监控套件包括三个主要部分 gmond ,gmetad,和网页接口,通常被称为ganglia-web。
​ gmond 是一个守护进程,他运行在每一个需要监测的节点上,收集监测统计,发送和接受在同一个组播或单播通道上的统计信息。

​ gmetad 也是一个守护进程,他定期检查gmonds ,从那里拉取数据,并将他们的指标存储在RRD存储引擎中。它可以查询多个集群并聚合指标。RRD也被用于生成用户界面的web前端。

​ ganglia-web 顾名思义,他应该安装在有gmetad运行的机器上,以便读取RRD文件。

​ 一般来说一个集群的每台机器上都需要安装gmond,只要负责展示web界面的机器安装了gmetad即可。

1.ganglia规划

主机名 ip 规划 安装

hadoop1 10.2.6.250 服务端 ganglia-gmond、ganglia-gmetad、ganglia-web

hadoop2 10.2.6.246 客户端 ganglia-gmond

hadoop3 10.2.6.248 客户端 ganglia-gmond

hadoop4 10.2.6.249 客户端 ganglia-gmond

安装前确保iptables关闭.

2.安装前的准备工作

  • 加载yum源,在每一台机器上面执行下面两个命令
rpm -Uvh http://dl.fedoraproject.org/pub/epel/6/i386/epel-release-6-8.noarch.rpm

yum  -y  install  httpd-devel  automake  autoconf  libtool  ncurses-devel  libxslt  groff  pcre-devel  pkgconfig 

3.主节点服务安装配置

3.1主节点的服务安装(hadoop1上面的安装配置)安装ganglia-gmetad 和 ganglia-web

yum search ganglia     ------------------查看ganglia在epel的安装包,复制进行安装
yum -y install ganglia-web.x86_64 ganglia-gmond.x86_64  
yum -y install ganglia-gmetad.x86_64 ----------------------(如果上一步执行了这步不用执行,web包会自动下载该依赖)

rpm -qa |grep ganglia          --------------------查看安装情况  
rpm -ql ganglia-gmetad.x86_64       ------------- 复制上面命令执行结果的安装名,可查看安装路径  
3.1.1配置gmetad
  • Shell代码
# vi /etc/ganglia/gmetad.conf  

data_source"my cluster" 192.168.1.20:8649  ---- Hadoop为cluster名称,后面是需要监控的主机名
3.1.2修改apache设置

Shell代码

vi /etc/httpd/conf.d/ganglia.conf
文件内容Deny from all 为 allow from all 
修改后配置如下
<Location/ganglia>
Order deny,allow
Allow from all
Allow from 127.0.0.1
Allow from ::1
# Allow from .example.com
</Location>
3.1.3设置启动
  • Shell代码
# chkconfig --add gmetad  

# chkconfig --add gmond  

# chkconfig --add httpd
3.1.4打开端口/关闭防火墙
# /etc/init.d/iptablesstop -------------------关闭防火墙,用于测试时,线上最好用打开端口方式
3.1.5关闭SELinux
1 永久方法 – 需要重启服务器
修改/etc/selinux/config文件中设置SELINUX=disabled ,然后重启服务器。
2 临时方法 – 设置系统参数
使用命令setenforce 0
附:
setenforce 1 设置SELinux 成为enforcing模式
setenforce 0 设置SELinux 成为permissive模式

4.监控节点的安装(每个监控节点,hadoop2,hadoop3,

hadoop4都要安装)

4.1安装ganglia-gmond

  • Shell代码
# yum search ganglia  

yum install ganglia-gmond.x86_64

4.2配置gmond

  • Shell代码
 # vi /etc/ganglia/gmond.conf  
  cluster{
name = "my cluster"   ------ cluster名称,是你在gmetad.conf里配置的data_source名称 
owner = "root"
latlong = "unspecified"
url = "unspecified"
}  
udp_send_channel{
# mcast_join = 239.2.11.71  ----- 组播
host=192.168.1.20    -------------- 单播 gmeta主机的ip/主机名或者主机ip地址  
port= 8649
ttl =1
}  
udp_recv_channel {
# mcast_join = 239.2.11.71  
port= 8649
bind =192.168.1.20
}

4.3配置启动

#chkconfig --add  gmond

#chkconfig --list  gmond

此时,如果正确安装,会出现gmond          0:off   1:off   2:off   3:off   4:off  5:off   6:off

4.4配置hosts

# vi /etc/hosts
10.2.6.250 hadoop1
10.2.6.246 hadoop2
10.2.6.248 hadoop3
10.2.6.249 hadoop4

全部安装完毕后

在主机上

# service gmetad start
# service gmond start
# service httpd start
# service gmetad status  -------------------验证是否启动成功
# service gmond status   -------------------验证是否启动成功
  • 在监控节点上
# service gmond start  
# service gmond status   -------------------验证是否启动成功

访问http://10.2.6.250/ganglia

阅读更多
文章标签: ganglia
个人分类: gangglia
想对作者说点什么? 我来说一句

没有更多推荐了,返回首页

关闭
关闭
关闭