Elasticsearch_exporter + Prometheus + Grafana监控之搭建梳理

一、安装elasticsearch_exporter并启动

1.1 官网下载elasticsearch_exporter的安装包，地址如下：

如果是Linux系统，建议安装此版本：elasticsearch_exporter-1.3.0.linux-amd64.tar.gz
elasticsearch_exporter-1.3.0

1.2 上传安装包到服务器，并解压：

tar -xvf elasticsearch_exporter-1.3.0.linux-amd64.tar.gz -C /root/   ###-C是指定解压目录

1.3 启动elasticsearch_exporter（有两种启动方法）：

方法1：

cd /root/elasticsearch_exporter_1.3.0/
nohup ./elasticsearch_exporter --es.all --es.indices --es.cluster_settings --es.node="daily_test" --es.indices_settings --es.shards --es.snapshots --es.timeout=5s --web.listen-address ":9555" --web.telemetry-path "/metrics" --es.ssl-skip-verify --es.clusterinfo.interval=5m --es.uri https://用户:口令@IP:端口 &

tail -f nohup.out   ###查看日志，是否正常运行

注：
1. --web.listen-address ":9555"，指定监听的端口，不与现有端口冲突的前提下，可随便设置；还可以通过设置不用的监听端口，来启动多个实例，适用于监控不同的elasticsearch集群的场景
2. --es.uri 此参数后若衔接的是https协议，则使用上面代码中的格式；若是http协议，则用：http://IP:端口 ，即可。需要注意的是，这里的IP地址是指elasticsearch集群中某一台服务器的ip地址
3. 该启动方法的优点在于，可启动多个不同端口的进程

方法2：

cd /etc/systemd/system/      ###配置服务的目录
vim elasticsearch_exporter.service     ###写入如下内容

[Unit]
Description=elasticsearch_exporter
After=syslog.target network.target
[Service]
Type=simple
RemainAfterExit=no
WorkingDirectory=/root/elasticsearch_exporter_1.3.0/
User=root
Group=root
ExecStart=/root/elasticsearch_exporter_1.3.0/elasticsearch_exporter  --es.all --es.indices --es.cluster_settings --es.node="daily_test" --es.indices_settings --es.shards --es.snapshots --es.timeout=5s --web.listen-address ":9555" --web.telemetry-path "/metrics" --es.ssl-skip-verify --es.clusterinfo.interval=5m --es.uri https://用户:口令@IP:端口
Restart=always
RestartSec=5
[Install]
WantedBy=multi-user.target

#配置开机自启，并启动：
systemctl daemon-reload
systemctk enable elasticsearch_exporter
systemctl start elasticsearch_exporter
systemctl status elasticsearch_exporter -l

注：
很明显，该方法可以使用Linux的system对elasticsearch_exporter进行管理，非常方便。

1.4 查看抓取到的信息：

curl http://ip:端口/metrics    ###注意：这里的IP指的是elasticsearch_exporter服务器的ip，端口是监听的端口，即示例中的：9555

二、Prometheus安装与启动

2.1 下载Prometheus的安装包，如下（下载最新版即可，我这里已安装旧版，用旧版演示）：

Prometheus

2.2 解压：

tar -xvf prometheus-2.18.1-linux-amd64.tar.gz -C /root/

2.3 调整配置文件，与elasticsearch_exporter连接：

vim /root/prometheus-2.18.1-linux-amd64/prometheus.yml
scrape_configs:
    - job_name: 'Prometheus'
      static_configs:
      - targets: ['localhost:9090']
    - job_name: 'elasticsearch_exporter'
      metrics_path: "/metrics"
      static_config:
      - targets: ['IP:端口']    ###elasticsearch_exporter的IP地址和监听端口，即9555
         labels:
           instance: IP:端口    ###与上方targets信息保持一致

2.4 Prometheus配置开机自启动：

cd /etc/systemd/system/
vim prometheus.service

[Unit]
Description=prometheus
Documentation=https://prometheus.io/
After=network.target
[Service]
Type=simple
User=prometheus
ExecStart=/root/prometheus-2.18.1-linux-amd64/prometheus --config.file=/root/prometheus-2.18.1-linux-amd64/prometheus.yml --storage.tsdb.path=/root/prometheus-2.18.1-linux-amd64/data --web.enable-lifecycle --storage.tsdb.retention=30d
Restart=on-failure
[Install]
WantedBy=multi-user.target

#配置开机自启，并启动：
systemctl daemon-reload
systemctk enable prometheus
systemctl start prometheus
systemctl status prometheus -l

三、Grafana安装搭建

3.1 下载安装包，地址如下：

Grafana

wget https://dl.grafana.com/oss/release/grafana-8.5.2-1.x86_64.rpm
rpm -ivh grafana-8.5.2-1.x86_64.rpm		###安装Grafana
yum install -y fontconfig freetype* urw-fonts		###安装渲染组件

3.2 安装Grafana的重要插件：

1. 查看可安装的插件：
	grafana-cli plugins list-remote
2. 安装zabbix插件：
	grafana-cli plugins install alexanderzobnin-zabbix-app
3. 安装时钟插件：
	grafana-cli plugins install grafana-clock-panel

3.3 启动，并配置开机自启：

/sbin/chkconfig --add grafana-server 
service grafana-server start
systemctl daemon-reload		###重载配置
systemctl enable grafana		###设置开机自启动
systemctl restart grafana-server		###重启
systemctl status grafana-server		###查看状态是否正常

3.4 登录Grafana页面，进行相关配置：

Grafana启动后，可登录Grafana的页面进行监控配置，登录前，有如下信息需了解：

Grafana默认配置文件：/etc/grafana/grafana.ini
默认日志文件：/var/log/grafana
Grafana默认端口：3000
首次登录的用户名/密码（登录后需立即修改新秘密）：admin/admin
默认环境文件位置：/etc/sysconfig/grafana-server
默认数据库使用sqlite3位置：/var/lib/grafana/grafana.db 

配置Prometheus的数据源，如下图：


数据源配置好以后，导入elasticsearch模板，输入elasticsearch的ID:2322，并导入刚创建好的数据源，如下：



打开刚创建好的图表，观察监控情况，已达到预期，如下所示：