Prometheus监控Ceph

在Ceph Luminous之前的版本，可以使用第三方的Prometheus exporterceph_exporter。 Ceph Luminous 12.2.1的mgr中自带了Prometheus插件，内置了 Prometheus ceph exporter，可以使用Ceph mgr内置的exporter作为Prometheus的target。

方案一: 使用ceph mgr prometheus插件

启用Ceph的Prometheus插件：

ceph mgr module enable prometheus ceph mgr module ls [ "dashboard", "prometheus" ]

启用成功后在激活(active)的mgr节点上可以看到：

netstat -nltp | grep mgr tcp 0 0 0.0.0.0:6804 0.0.0.0:* LISTEN 159556/ceph-mgr tcp6 0 0 :::7000 :::* LISTEN 159556/ceph-mgr tcp6 0 0 :::9283 :::* LISTEN 159556/ceph-mgr

其中9283是ceph exporter的监听端口，curl 127.0.0.1:9283可以获取到metrics。将这个exporter作为Prometheus的target即可。

- job_name: 'ceph' honor_labels: true static_configs: - targets: - 192.168.61.21:9283 labels: instance: ceph

图表和告警这里略过……

2.方案二: 使用digitalocean ceph_exporter

因为我们正式环境中使用的是第三方的Prometheus ceph_exporter。

 

在安装了ceph的mon节点上（ip：192.168.20.150），执行一下命令

wget http://static.zybuluo.com/zphj1987/jiwx305b8q1hwc5uulo0z7ft/ceph_exporter-2.0.0-1.x86_64.rpm

rpm -qpl ceph_exporter-2.0.0-1.x86_64.rpm

rpm -ivh ceph_exporter-2.0.0-1.x86_64.rpm

systemctl start ceph_exporter

wget http://static.zybuluo.com/zphj1987/7ro7up6r03kx52rkwy1qjuwm/prometheus-2.3.2-1.x86_64.rpm

rpm -qpl prometheus-2.3.2-1.x86_64.rpm

rpm -ivh prometheus-2.3.2-1.x86_64.rpm

systemctl start prometheus

wget https://s3-us-west-2.amazonaws.com/grafana-releases/release/grafana-5.2.1-1.x86_64.rpm

yum localinstall grafana-5.2.1-1.x86_64.rpm

systemctl start grafana-server.service

 

设置开机启动并启动

刚安装完需要重载systemd配置：systemctl daemon-reload
启动服务：systemctl start grafana-server
查看状态：systemctl status grafana-server
设置开机启动： systemctl enable grafana-server.service

二进制文件： /usr/sbin/grafana-server
init.d 脚本： /etc/init.d/grafana-server
环境变量文件： /etc/sysconfig/grafana-server
配置文件： /etc/grafana/grafana.ini
启动项： grafana-server.service
日志文件：/var/log/grafana/grafana.log
默认配置的sqlite3数据库：/var/lib/grafana/grafana.db

 

之后页面上输入地址：http://192.168.20.150:3000

默认用户名密码:admin/admin

之后添加prometheus数据源

 

导入模板 
ceph 的 Dashboard 模板可用从这里下载 https://github.com/magine1989/Ceph_Prometheus_Grafana

然后导入，分别导入3个Dashboard

点进去就可以看到数据了（exporter选择如下图所示的）

安装 ceph_exporter

安装依赖包

yum install golang
yum install librados2-devel librbd1-devel

vi /etc/profile.d/go.sh (新增环境变量文件)

export GOROOT=/usr/lib/golang
export GOBIN=$GOROOT/bin
export GOPATH=/home/golang
export PATH=$PATH:$GOROOT/bin:$GOPATH/bin

source /etc/profile.d/go.sh

安装ceph_exporter

go get -u github.com/digitalocean/ceph_exporter

cd /usr/lib/golang/bin/

启动 nohup ./ceph_exporter &

检验：http://ceph-client:9128

在Prometheus界面，选择 Status->Targets 显示ceph exporter已经可用

4.安装配置grafana

下载 wget https://s3-us-west-2.amazonaws.com/grafana-releases/release/grafana-4.6.3-1.x86_64.rpm

安装

yum install grafana-4.6.3-1.x86_64.rpm

启动

systemctl start grafana-server

•  

登陆 http://prometheus-test:3000/
默认用户名密码:admin/admin

添加prometheus数据源

导入模板
ceph 的 Dashboard 模板可用从这里下载 https://github.com/magine1989/Ceph_Prometheus_Grafana

然后导入，分别导入3个Dashboard

导入后就可以看到了

等一会儿，数据都上来了，就可以看到本文前面列出的3个面板了。

 

Dashboard以及Prometheus监控Ceph

Ceph启用Dashboard 

#全部节点机都要手动安装
 wget http://download.ceph.com/rpm-nautilus/el7/noarch/ceph-mgr-dashboard-14.2.10-0.el7.noarch.rpm
 yum -y install ceph-mgr-dashboard-14.2.10-0.el7.noarch.rpm
#等全部节点都安装完,再次手动开启dashboard
 ceph mgr module enable dashboard
#查看仪表板的详细信息
[cephadm@xiaomao ceph-cluster]$ ceph mgr module ls