Ganglia安装部署

标签: ganglia
10人阅读 评论(0) 收藏 举报
分类:

Ganglia监控Hadoop集群的安装部署

详情请参见 http://boendev.iteye.com/blog/1750615

一、 安装环境

  • CentOS6.5x86_64
  • 安装gmetad的机器:10.2.6.250 (服务端)
  • 安装gmond的机器:10.2.6.250,10.2.6.246,10.2.6.248,10.2.6.249
  • 浏览监控web页面的机器:10.2.6.250

二、 介绍

​ Ganglia 监控套件包括三个主要部分 gmond ,gmetad,和网页接口,通常被称为ganglia-web。
​ gmond 是一个守护进程,他运行在每一个需要监测的节点上,收集监测统计,发送和接受在同一个组播或单播通道上的统计信息。

​ gmetad 也是一个守护进程,他定期检查gmonds ,从那里拉取数据,并将他们的指标存储在RRD存储引擎中。它可以查询多个集群并聚合指标。RRD也被用于生成用户界面的web前端。

​ ganglia-web 顾名思义,他应该安装在有gmetad运行的机器上,以便读取RRD文件。

​ 一般来说一个集群的每台机器上都需要安装gmond,只要负责展示web界面的机器安装了gmetad即可。

1.ganglia规划

主机名 ip 规划 安装

hadoop1 10.2.6.250 服务端 ganglia-gmond、ganglia-gmetad、ganglia-web

hadoop2 10.2.6.246 客户端 ganglia-gmond

hadoop3 10.2.6.248 客户端 ganglia-gmond

hadoop4 10.2.6.249 客户端 ganglia-gmond

安装前确保iptables关闭.

2.安装前的准备工作

  • 加载yum源,在每一台机器上面执行下面两个命令
rpm -Uvh http://dl.fedoraproject.org/pub/epel/6/i386/epel-release-6-8.noarch.rpm

yum  -y  install  httpd-devel  automake  autoconf  libtool  ncurses-devel  libxslt  groff  pcre-devel  pkgconfig 

3.主节点服务安装配置

3.1主节点的服务安装(hadoop1上面的安装配置)安装ganglia-gmetad 和 ganglia-web

yum search ganglia     ------------------查看ganglia在epel的安装包,复制进行安装
yum -y install ganglia-web.x86_64 ganglia-gmond.x86_64  
yum -y install ganglia-gmetad.x86_64 ----------------------(如果上一步执行了这步不用执行,web包会自动下载该依赖)

rpm -qa |grep ganglia          --------------------查看安装情况  
rpm -ql ganglia-gmetad.x86_64       ------------- 复制上面命令执行结果的安装名,可查看安装路径  
3.1.1配置gmetad
  • Shell代码
# vi /etc/ganglia/gmetad.conf  

data_source"my cluster" 192.168.1.20:8649  ---- Hadoop为cluster名称,后面是需要监控的主机名
3.1.2修改apache设置

Shell代码

vi /etc/httpd/conf.d/ganglia.conf
文件内容Deny from all 为 allow from all 
修改后配置如下
<Location/ganglia>
Order deny,allow
Allow from all
Allow from 127.0.0.1
Allow from ::1
# Allow from .example.com
</Location>
3.1.3设置启动
  • Shell代码
# chkconfig --add gmetad  

# chkconfig --add gmond  

# chkconfig --add httpd
3.1.4打开端口/关闭防火墙
# /etc/init.d/iptablesstop -------------------关闭防火墙,用于测试时,线上最好用打开端口方式
3.1.5关闭SELinux
1 永久方法 – 需要重启服务器
修改/etc/selinux/config文件中设置SELINUX=disabled ,然后重启服务器。
2 临时方法 – 设置系统参数
使用命令setenforce 0
附:
setenforce 1 设置SELinux 成为enforcing模式
setenforce 0 设置SELinux 成为permissive模式

4.监控节点的安装(每个监控节点,hadoop2,hadoop3,

hadoop4都要安装)

4.1安装ganglia-gmond

  • Shell代码
# yum search ganglia  

yum install ganglia-gmond.x86_64

4.2配置gmond

  • Shell代码
 # vi /etc/ganglia/gmond.conf  
  cluster{
name = "my cluster"   ------ cluster名称,是你在gmetad.conf里配置的data_source名称 
owner = "root"
latlong = "unspecified"
url = "unspecified"
}  
udp_send_channel{
# mcast_join = 239.2.11.71  ----- 组播
host=192.168.1.20    -------------- 单播 gmeta主机的ip/主机名或者主机ip地址  
port= 8649
ttl =1
}  
udp_recv_channel {
# mcast_join = 239.2.11.71  
port= 8649
bind =192.168.1.20
}

4.3配置启动

#chkconfig --add  gmond

#chkconfig --list  gmond

此时,如果正确安装,会出现gmond          0:off   1:off   2:off   3:off   4:off  5:off   6:off

4.4配置hosts

# vi /etc/hosts
10.2.6.250 hadoop1
10.2.6.246 hadoop2
10.2.6.248 hadoop3
10.2.6.249 hadoop4

全部安装完毕后

在主机上

# service gmetad start
# service gmond start
# service httpd start
# service gmetad status  -------------------验证是否启动成功
# service gmond status   -------------------验证是否启动成功
  • 在监控节点上
# service gmond start  
# service gmond status   -------------------验证是否启动成功

访问http://10.2.6.250/ganglia

查看评论

Ganglia的安装、配置、运行

一、安装ganglia: 网上示例很多,对该部分的翻译后续再跟进。 二、配置ganglia: 默认的配置仅仅能使ganglia工作,如果了解比默认配置多的配置项,能帮助你更好的使用ganglia做...
  • xhb306286215
  • xhb306286215
  • 2017-05-24 09:12:42
  • 3460

安装配置实践Ganglia-监控集群

Ganglia是UC Berkeley发起的一个开源集群监视项目,设计用于测量数以千计的节点。Ganglia的核心包含gmond、gmetad以及一个Web前端。Ganglia集群主要用来监控系统性能...
  • xiongbamima
  • xiongbamima
  • 2015-09-15 15:07:11
  • 2003

Centos6.4下Ganglia安装与配置

Centos6.4下Ganglia安装与配置1、源码方式安装1.1 首先安装Ganglia基础依赖包[root@monitor ~]# yum install -y expat expat-devel...
  • flyingwenzi
  • flyingwenzi
  • 2018-04-18 23:34:10
  • 2

ganglia安装部署

系统:Centos6.3 x86_64 1.    将epel-release-6-8.noarch.rpm加入repo. rpm-ivh epel-release-6-8.noarch.rp...
  • eryk86
  • eryk86
  • 2013-07-19 00:25:36
  • 659

Linux下Ganglia监控系统搭建

Ganglia监控软件主要是用来监控系统性能的软件,如:cpu 、mem、硬盘利用率, I/O负载、网络流量情况等,通过曲线很容易见到每个节点的工作状态,对合理调整、分配系统资源,提高系统整体性能起到...
  • boonya
  • boonya
  • 2014-07-04 15:23:19
  • 1950

ganglia安装教程(centos7)

ganglia 安装教程依赖软件 http://nchc.dl.sourceforge.net/project/pcre/pcre/8.32/pcre-8.32.tar.gz tar xvzf...
  • wuwenxiang91322
  • wuwenxiang91322
  • 2015-05-14 12:40:45
  • 6234

分布式监控工具Ganglia 介绍 与 集群部署.

如果你目的很明确就是冲着标题来的,不爱看我唠叨,请直接进入第二个分割线之后的内容。   其实之前就是有做Swift监控平台的打算的,但是因为没什么硬性需求么,也不要紧的,就一直搁置了。最近实验室来...
  • yangguangmeng
  • yangguangmeng
  • 2016-06-08 10:51:32
  • 1635

ganglia 安装配置指南

引言 Ganglia 是 UC Berkeley 发起的一个开源监视项目,设计用于测量数以千计的节点。每台计算机都运行一个收集和发送度量数据(如处理器速度、内存使用量等)的名为 gmond 的守护进...
  • gong_xucheng
  • gong_xucheng
  • 2014-05-20 16:56:07
  • 11579

Ganglia 权威指南-安装Ganglia过程

由Ganglia的设计者和维护人员亲自执笔,知识性和权威性毋庸置疑。本书不但展示了如何从任意规模的集群、网格或云基础架构中收集系统指标并使其可视化,而且为如何针对20 000台主机每10秒跟踪一次CP...
  • xxd851116
  • xxd851116
  • 2014-03-19 13:44:11
  • 34321

ganglia安装配置

  • 2009年07月02日 09:25
  • 119KB
  • 下载
    个人资料
    等级:
    访问量: 363
    积分: 252
    排名: 30万+
    文章存档