目录
一、简介
1. Prometheus 概述
Prometheus 是一个开源的服务监控系统和时序数据库,其提供了通用的数据模型和快捷数据采集、存储和查询接口。它的核心组件 Prometheus server 会定期从静态配置的监控目标或者基于服务发现自动配置的目标中进行拉取数据,新拉取到的数据会持久化到存储设备当中。
每个被监控的主机都可以通过专用的 exporter 程序提供输出监控数据的接口,它会在目标处收集监控数据,并暴露出一个 HTTP 接口供 Prometheus server 查询,Prometheus 通过基于 HTTP 的 pull 的方式来周期性的采集数据。
如果存在告警规则,则抓取到数据之后会根据规则进行计算,满足告警条件则会生成告警,并发送到 Alertmanager 完成告警的汇总和分发。
当被监控的目标有主动推送数据的需求时,可以以 Pushgateway 组件进行接收并临时存储数据,然后等待 Prometheus server 完成数据的采集。
任何被监控的目标都需要事先纳入到监控系统中才能进行时序数据采集、存储、告警和展示,监控目标可以通过配置信息以静态形式指定,也可以让 Prometheus 通过服务发现的机制进行动态管理。
Prometheus 能够直接把 API Server 作为服务发现系统使用,进而动态发现和监控集群中的所有可被监控的对象。
Prometheus 官网地址:https://prometheus.io
Prometheus github 地址:https://github.com/prometheus
2. 存储引擎 TSDB
TSDB 作为 Prometheus 的存储引擎完美契合了监控数据的应用场景:
- 存储的数据量级十分庞大
- 大部分时间都是写入操作
- 写入操作几乎是顺序添加,大多数时候数据都以时间排序
- 很少更新数据,大多数情况在数据被采集到数秒或者数分钟后就会被写入数据库
- 删除操作一般为区块删除,选定开始的历史时间并指定后续的区块。很少单独删除某个时间或者分开的随机时间的数据
- 基本数据大,一般超过内存大小。一般选取的只是其一小部分且没有规律,缓存几乎不起任何作用
- 读操作是十分典型的升序或者降序的顺序读
- 高并发的读操作十分常见
3. Prometheus 的特点
- 多维数据模型:由度量名称和键值对标识的时间序列数据
- 时间序列数据:按照时间顺序记录系统、设备状态变化的数据,每个数据称为一个样本;服务器指标数据、应用程序性能监控数据、网络数据等都是时序数据
- 内置时间序列(Time Series)数据库:Prometheus ;外置的远端存储通常会用:InfluxDB、OpenTSDB 等
- promQL 一种灵活的查询语言,可以利用多维数据完成复杂查询
- 基于 HTTP 的 pull(拉取)方式采集时间序列数据
- 同时支持 PushGateway 组件收集数据
- 通过静态配置或服务发现发现目标
- 支持作为数据源接入 Grafana
4. Prometheus 的生态组件
Prometheus 负责时序型指标数据的采集及存储,但数据的分析、聚合及直观展示以及告警等功能并非由 Prometheus Server 所负责。Prometheus 生态圈中包含了多个组件,其中部分组件可选:
4.1 Prometheus server
服务核心组件,采用 pull 方式采集监控数据,通过 http 协议传输;存储时间序列数据;基于“告警规则”生成告警通知。
负责收集和存储时间序列数据,并提供查询和警报功能。
Prometheus server 由三个部分组成:Retrieval,Storage,PromQL
- Retrieval:负责在活跃的 target 主机上抓取监控指标数据。
- Storage:存储,主要是把采集到的数据存储到磁盘中。默认为 15 天。
- PromQL:是 Prometheus 提供的查询语言模块。
4.2 Client Library
客户端库,目的在于为那些期望原生提供 Instrumentation 功能的应用程序提供便捷的开发途径,用于基于应用程序内建的测量系统。
用于在应用程序中嵌入Prometheus指标收集代码。
4.3 Exporters
指标暴露器,负责收集不支持内建 Instrumentation 的应用程序或服务的性能指标数据,并通过 HTTP 接口供 Prometheus Server 获取。
用于从各种服务和系统中收集指标数据,并将其转换为Prometheus可读的格式。
换句话说,Exporter 负责从目标应用程序上采集和聚合原始格式的数据,并转换或聚合为 Prometheus 格式的指标向外暴露。常用的 Exporters:
- Node-Exporter:用于收集服务器节点的物理指标状态数据,如平均负载、CPU、内存、磁盘、网络等资源信息的指标数据,需要部署到所有运算节点。指标详细介绍:https://github.com/prometheus/node_exporter
- mysqld-exporter/nginx-exporter
- Kube-State-Metrics:为 Prometheus 采集 K8S 资源数据的 exporter,通过监听 APIServer 收集 kubernetes 集群内资源对象的状态指标数据,例如 pod、deployment、service 等等。同时它也提供自己的数据,主要是资源采集个数和采集发生的异常次数统计。
- 需要注意的是 kube-state-metrics 只是简单的提供一个 metrics 数据,并不会存储这些指标数据,所以可以使用 Prometheus 来抓取这些数据然后存储, 主要关注的是业务相关的一些元数据,比如 Deployment、Pod、副本状态等;调度了多少个 replicas ?现在可用的有几个?多少个 Pod 是 running/stopped/terminated 状态?Pod 重启了多少次?有多少 job 在运行中。
- cAdvisor:用来监控容器内部使用资源的信息,比如 CPU、内存、网络I/O、磁盘I/O 。
- blackbox-exporter:监控业务容器存活性。
4.4 Service Discovery
服务发现,用于动态发现待监控的 Target,Prometheus 支持多种服务发现机制:文件、DNS、Consul、Kubernetes 等等。 服务发现可通过第三方提供的接口,Prometheus 查询到需要监控的 Target 列表,然后轮询这些 Target 获取监控数据。该组件目前由 Prometheus Server 内建支持。
4.5 Alertmanager
是一个独立的告警模块,从 Prometheus server 端接收到 “告警通知” 后,会进行去重、分组,并路由到相应的接收方,发出报警, 常见的接收方式有:电子邮件、钉钉、企业微信等。
Prometheus Server 仅负责生成告警指示,具体的告警行为由另一个独立的应用程序 AlertManager 负责;告警指示由 Prometheus Server 基于用户提供的告警规则周期性计算生成,Alertmanager 接收到 Prometheus Server 发来的告警指示后,基于用户定义的告警路由向告警接收人发送告警信息。
用于处理警报并将其发送到适当的接收者。
4.6 Pushgateway
类似一个中转站,Prometheus 的 server 端只会使用 pull 方式拉取数据,但是某些节点因为某些原因只能使用 push 方式推送数据, 那么它就是用来接收 push 而来的数据并暴露给 Prometheus 的 server 拉取的中转站。可以理解成目标主机可以上报短期任务的数据到 Pushgateway,然后 Prometheus server 统一从 Pushgateway 拉取数据。
4.7 Grafana
是一个跨平台的开源的度量分析和可视化工具,可以将采集的数据可视化的展示,并及时通知给告警接收方。其官方库中具有丰富的仪表盘插件。
5. Prometheus 的工作模式
- Prometheus Server 基于服务发现(Service Discovery)机制或静态配置获取要监视的目标(Target),并通过每个目标上的指标 exporter 来采集(Scrape)指标数据;
- Prometheus Server 内置了一个基于文件的时间序列存储来持久存储指标数据,用户可使用 PromQL 接口来检索数据,也能够按需将告警需求发往 Alertmanager 完成告警内容发送;
- 一些短期运行的作业的生命周期过短,难以有效地将必要的指标数据供给到 Server 端,它们一般会采用推送(Push)方式输出指标数据, Prometheus 借助于 Pushgateway 接收这些推送的数据,进而由 Server 端进行抓取
6. Prometheus 的工作流程
① Prometheus 以 Prometheus Server 为核心,用于收集和存储时间序列数据。Prometheus Server 从监控目标中通过 pull 方式拉取指标数据,或通过 pushgateway 把采集的数据拉取到 Prometheus server 中。
② Prometheus server 把采集到的监控指标数据通过 TSDB 存储到本地 HDD/SSD 中。
③ Prometheus 采集的监控指标数据按时间序列存储,通过配置报警规则,把触发的告警通知发送到 Alertmanager。
④ Alertmanager 通过配置报警接收方,发送报警到邮件、钉钉或者企业微信等。
⑤ Prometheus 自带的 Web UI 界面提供 PromQL 查询语言,可查询监控数据。
⑥ Grafana 可接入 Prometheus 数据源,把监控数据以图形化形式展示出。
7. Prometheus 的局限性
- Prometheus 是一款指标监控系统,不适合存储事件及日志等;它更多地展示的是趋势性的监控,而非精准数据;
- Prometheus 认为只有最近的监控数据才有查询的需要,其本地存储的设计初衷只是保存短期(例如一个月)数据,因而不支持针对大量的历史数据进行存储;
- 若需要存储长期的历史数据,建议基于远端存储机制将数据保存于 InfluxDB 或 OpenTSDB 等系统中;
- Prometheus 的集群机制成熟度不高,可基于 Thanos 或 Cortex 实现 Prometheus 集群的高可用及联邦集群。
二、部署 Prometheust Server
Prometheust Server 端安装和相关配置:
1. 上传 prometheus 安装包
上传 prometheus-2.35.0.linux-amd64.tar.gz 到 /opt 目录中,并解压:
[root@localhost ~]# systemctl stop firewalld
[root@localhost ~]# setenforce 0
[root@localhost ~]# cd /opt/
[root@localhost opt]# rz -E
rz waiting to receive.
[root@localhost opt]# ls
prometheus-2.35.0.linux-amd64.tar.gz
[root@localhost opt]# tar xf prometheus-2.35.0.linux-amd64.tar.gz
[root@localhost opt]# mv prometheus-2.35.0.linux-amd64 /usr/local/prometheus
[root@localhost opt]# cat /usr/local/prometheus/prometheus.yml | grep -v "^#"
# 显示所有未被注释掉的配置内容
global: #用于prometheus的全局配置,比如采集间隔,抓取超时时间等
scrape_interval: 15s #采集目标主机监控数据的时间间隔,默认为1m
evaluation_interval: 15s #触发告警生成alert的时间间隔,默认是1m
# scrape_timeout is set to the global default (10s).
scrape_timeout: 10s #数据采集超时时间,默认10s
alerting: #用于alertmanager实例的配置,支持静态配置和动态服务发现的机制
alertmanagers:
- static_configs:
- targets:
# - alertmanager:9093
rule_files: #用于加载告警规则相关的文件路径的配置,可以使用文件名通配机制
# - "first_rules.yml"
# - "second_rules.yml"
scrape_configs: #用于采集时序数据源的配置
# The job name is added as a label `job=<job_name>` to any timeseries scraped from this config.
- job_name: "prometheus" #每个被监控实例的集合用job_name命名,支持静态配置(static_configs)和动态服务发现的机制(*_sd_configs)
# metrics_path defaults to '/metrics'
metrics_path: '/metrics' #指标数据采集路径,默认为 /metrics
# scheme defaults to 'http'.
static_configs: #静态目标配置,固定从某个target拉取数据
- targets: ["localhost:9090"]
2. 配置系统启动文件
cat > /usr/lib/systemd/system/prometheus.service <<'EOF'
[Unit]
Description=Prometheus Server
Documentation=https://prometheus.io
After=network.target
[Service]
Type=simple
ExecStart=/usr/local/prometheus/prometheus \
--config.file=/usr/local/prometheus/prometheus.yml \
--storage.tsdb.path=/usr/local/prometheus/data/ \
--storage.tsdb.retention=15d \
--web.enable-lifecycle
ExecReload=/bin/kill -HUP $MAINPID
Restart=on-failure
[Install]
WantedBy=multi-user.target
EOF
3. 启动 Prometheust
[root@localhost opt]# systemctl start prometheus
[root@localhost opt]# systemctl enable prometheus
[root@localhost opt]# netstat -natp | grep :9090
tcp6 0 0 :::9090 :::* LISTEN 1875/prometheus
浏览器访问:http://192.168.190.107:9090,访问到 Prometheus 的 Web UI 界面,点击页面的 Status -> Targets,如看到 Target 状态都为 UP,说明 Prometheus 能正常采集到数据。
http://192.168.190.107:9090/metrics ,可以看到 Prometheus 采集到自己的指标数据,其中 Help 字段用于解释当前指标的含义,Type 字段用于说明数据的类型。
三、部署 Exporters
1. 部署 Node Exporter 监控系统级指标
(1)上传 node_exporter-1.3.1.linux-amd64.tar.gz 到 /opt 目录中,并解压,两个节点均部署
[root@localhost ~]# cd /opt/
[root@localhost opt]# rz -E
rz waiting to receive.
[root@localhost opt]# ls
node_exporter-1.3.1.linux-amd64.tar.gz
[root@localhost opt]# tar xf node_exporter-1.3.1.linux-amd64.tar.gz
[root@localhost opt]# mv node_exporter-1.3.1.linux-amd64/node_exporter /usr/local/bin
(2)配置启动文件
[root@localhost opt]# cat > /usr/lib/systemd/system/node_exporter.service <<'EOF'
> [Unit]
> Description=node_exporter
> Documentation=https://prometheus.io/
> After=network.target
>
> [Service]
> Type=simple
> ExecStart=/usr/local/bin/node_exporter \
> --collector.ntp \
> --collector.mountstats \
> --collector.systemd \
> --collector.tcpstat
>
> ExecReload=/bin/kill -HUP $MAINPID
> Restart=on-failure
>
> [Install]
> WantedBy=multi-user.target
> EOF
(3)启动 exporter
[root@localhost opt]# systemctl start node_exporter
[root@localhost opt]# systemctl enable node_exporter
Created symlink from /etc/systemd/system/multi-user.target.wants/node_exporter.service to /usr/lib/systemd/system/node_exporter.service.
[root@localhost opt]# netstat -natp | grep :9100
tcp6 0 0 :::9100 :::* LISTEN 2149/node_exporter
浏览器访问:http://192.168.190.108:9100/metrics ,可以看到 Node Exporter 采集到的指标数据
常用的各指标:
① node_cpu_seconds_total
- 表示自系统启动以来,CPU在各个模式下消耗的总时间(以秒为单位)。它通常包括用户CPU时间、系统CPU时间和空闲时间等多个维度。
② node_memory_MemTotal_bytes
- 表示系统总内存大小,即系统中物理内存的总量,以字节(bytes)为单位。
③ node_filesystem_size_bytes{mount_point=PATH}
- 此指标提供了关于特定文件系统(以其挂载点PATH标识)的总大小信息,单位也是字节(bytes)。mount_point是一个标签,用于指定文件系统的具体挂载位置,比如/, /home, 或其他特定目录。
④ node_system_unit_state{name=}
- 这个指标反映了系统单元(systemd单元,如服务、挂载点、sockets等)的状态。
name
是一个变量,需要替换为具体的单元名称。
⑤ node_vmstat_pswpin
- 系统每秒从磁盘读到内存的字节数。
⑥ node_vmstat_pswpout
- 系统每秒钟从内存写到磁盘的字节数 。
更多指标介绍:https://github.com/prometheus/node_exporter
(4)修改 prometheus 配置文件,加入到 prometheus 监控中
在尾部增加如下内容:
- job_name: nodes # 定义了一个名为nodes的作业(job)
metrics_path: "/metrics" # 指定了从目标中抓取监控指标的路径
static_configs: # 开始定义静态配置部分
- targets: # 列出了要监控的目标实例列表
- 192.168.190.107:9100 # 分别指定了两个具体的监控目标地址及其端口
- 192.168.190.108:9100
labels: # 定义了与这些目标关联的标签
service: kubernetes # 添加了一个标签service,其值为kubernetes
(5)重新载入配置
[root@localhost opt]# systemctl reload prometheus
# 或者curl -X POST http://192.168.190.107:9090/-/reload
(6)浏览器访问:http://192.168.190.107:9090,访问到 Prometheus 的 Web UI 界面,点击页面的 Status -> Targets
2. 监控 MySQL 配置
在 MySQL 服务器上操作:
(1)上传 mysqld_exporter-0.14.0.linux-amd64.tar.gz 到 /opt 目录中,并解压
[root@localhost ~]# cd /opt/
[root@localhost opt]# rz -E
rz waiting to receive.
[root@localhost opt]# ls
mysqld_exporter-0.14.0.linux-amd64.tar.gz
[root@localhost opt]# tar xf mysqld_exporter-0.14.0.linux-amd64.tar.gz
[root@localhost opt]# mv mysqld_exporter-0.14.0.linux-amd64/mysqld_exporter /usr/local/bin/
(2)配置启动文件
cat > /usr/lib/systemd/system/mysqld_exporter.service <<'EOF'
[Unit]
Description=mysqld_exporter
Documentation=https://prometheus.io/
After=network.target
[Service]
Type=simple
ExecStart=/usr/local/bin/mysqld_exporter --config.my-cnf=/etc/my.cnf
ExecReload=/bin/kill -HUP $MAINPID
Restart=on-failure
[Install]
WantedBy=multi-user.target
EOF
(3)修改 MySQL 配置文件
[root@localhost opt]# vim /etc/my.cnf
[client]
......
user=exporter
password=abc123
(4)授权 exporter 用户
[root@localhost opt]# mysql -uroot -p'123456'
mysql> GRANT PROCESS, REPLICATION CLIENT, SELECT ON *.* TO 'exporter'@'localhost' IDENTIFIED BY 'abc123';
(5)重启服务
[root@localhost opt]# systemctl restart mysqld
[root@localhost opt]# systemctl enable --now mysqld_exporter
在 Prometheus 服务器上操作:
(1)修改 prometheus 配置文件,加入到 prometheus 监控中
在尾部增加如下内容:
- job_name: mysqld
metrics_path: "/metrics"
static_configs:
- targets:
- 192.168.190.101:9104
labels:
service: mysqld
(2)重新载入配置
[root@localhost opt]# systemctl reload prometheus
# curl -X POST http://192.168.10.80:9090/-/reload
(3)浏览器访问:http://192.168.190.107:9090,访问到 Prometheus 的 Web UI 界面,点击页面的 Status -> Targets
3. 监控 Nginx 配置
在 Nginx 服务器上操作:
下载 nginx-exporter 地址:https://github.com/hnlq715/nginx-vts-exporter/releases/download/v0.10.3/nginx-vts-exporter-0.10.3.linux-amd64.tar.gz
下载 nginx 地址:http://nginx.org/download/
下载 nginx 插件地址:https://github.com/vozlt/nginx-module-vts/tags
(1)解压 nginx 插件
[root@localhost opt]# tar xf nginx-module-vts-0.1.18.tar.gz
[root@localhost opt]# mv nginx-module-vts-0.1.18 /usr/local/nginx-module-vts
(2)安装 Nginx
[root@localhost opt]# yum -y install pcre-devel zlib-devel openssl-devel gcc gcc-c++ make
[root@localhost opt]# useradd -M -s /sbin/nologin nginx
[root@localhost opt]# tar xf nginx-1.18.0.tar.gz
[root@localhost opt]# cd nginx-1.18.0/
./configure --prefix=/usr/local/nginx \
--user=nginx \
--group=nginx \
--with-http_stub_status_module \
--with-http_ssl_module \
--add-module=/usr/local/nginx-module-vts
[root@localhost nginx-1.18.0]# make -j 2 & make install
(3)修改 nginx 配置文件,启动 nginx
http {
……
vhost_traffic_status_zone; #添加
vhost_traffic_status_filter_by_host on;
#添加,开启此功能,在 Nginx 配置有多个 server_name 的情况下,会根据不同的 server_name 进行流量的统计,否则默认会把流量全部计算到第一个 server_name 上
……
server {
listen 8080;
server_name localhost;
vhost_traffic_status off; #在不想统计流量的 server 区域,可禁用 vhost_traffic_status
allow 127.0.0.1;
allow 192.168.190.107; #设置为 prometheus 的 ip 地址
location /nginx-status {
stub_status on;
access_log off;
}
location /status {
vhost_traffic_status_display;
vhost_traffic_status_display_format html;
}
}
}
#假如 nginx 没有规范配置 server_name 或者无需进行监控的 server 上,那么建议在此 vhost 上禁用统计监控功能。否则会出现 127.0.0.1、hostname 等的域名监控信息。
[root@localhost ~]# ln -s /usr/local/nginx/sbin/nginx /usr/local/sbin/
[root@localhost ~]# nginx -t
cat > /lib/systemd/system/nginx.service <<'EOF'
[Unit]
Description=nginx
After=network.target
[Service]
Type=forking
PIDFile=/usr/local/nginx/logs/nginx.pid
ExecStart=/usr/local/nginx/sbin/nginx
ExecReload=/bin/kill -s HUP $MAINPID
ExecStop=/bin/kill -s QUIT $MAINPID
PrivateTmp=true
[Install]
WantedBy=multi-user.target
EOF
[root@localhost ~]# systemctl enable --now nginx
浏览器访问:http://192.168.190.108:8080/status ,可以看到 Nginx Vhost Traffic Status 的页面信息:
(4)解压 nginx-exporter,启动 nginx-exporter
[root@localhost opt]# tar -zxvf nginx-vts-exporter-0.10.3.linux-amd64.tar.gz
[root@localhost opt]# mv nginx-vts-exporter-0.10.3.linux-amd64/nginx-vts-exporter /usr/local/bin/
[root@localhost opt]# cat > /usr/lib/systemd/system/nginx-exporter.service <<'EOF'
> [Unit]
> Description=nginx-exporter
> Documentation=https://prometheus.io/
> After=network.target
>
> [Service]
> Type=simple
> ExecStart=/usr/local/bin/nginx-vts-exporter -nginx.scrape_uri=http://localhost:8080/status/format/json
>
> ExecReload=/bin/kill -HUP $MAINPID
> Restart=on-failure
>
> [Install]
> WantedBy=multi-user.target
> EOF
[root@localhost opt]# systemctl enable --now nginx-exporter
Created symlink from /etc/systemd/system/multi-user.target.wants/nginx-exporter.service to /usr/lib/systemd/system/nginx-exporter.service.
[root@localhost opt]# netstat -natp | grep :9913
tcp6 0 0 :::9913 :::* LISTEN 7560/nginx-vts-exp
在 Prometheus 服务器上操作:
(1)修改 prometheus 配置文件,加入到 prometheus 监控中
[root@localhost opt]# vim /usr/local/prometheus/prometheus.yml
在尾部增加如下内容:
- job_name: nginx
metrics_path: "/metrics"
static_configs:
- targets:
- 192.168.190.108:9913
labels:
service: nginx
(2)重新载入配置
[root@localhost opt]# systemctl reload prometheus
或 curl -X POST http://192.168.190.107:9090/-/reload
(3)浏览器访问:http://192.168.190.107:9090,访问到 Prometheus 的 Web UI 界面,点击页面的 Status -> Targets
四、部署 Grafana 进行展示
1. 下载和安装
下载地址:https://grafana.com/grafana/download
https://mirrors.bfsu.edu.cn/grafana/yum/rpm/
[root@localhost opt]# rz -E
rz waiting to receive.
[root@localhost opt]# ls
grafana-7.4.0-1.x86_64.rpm
[root@localhost opt]# yum install -y grafana-7.4.0-1.x86_64.rpm
[root@localhost opt]# systemctl enable --now grafana-server
[root@localhost opt]# netstat -natp | grep :3000
tcp6 0 0 :::3000 :::* LISTEN 38801/grafana-serv
浏览器访问:http://192.168.190.107:3000 ,默认账号和密码为 admin/admin
2. 配置数据源
Configuration -> Data Sources -> Add data source -> 选择 Prometheus
HTTP -> URL 输入 http://192.168.190.107:9090
点击 Save & Test
点击 上方菜单 Dashboards,Import 所有默认模板
Dashboards -> Manage ,选择 Prometheus 2.0 Stats 或 Prometheus Stats 即可看到 Prometheus job 实例的监控图像
3. 导入 grafana 监控面板
浏览器访问:https://grafana.com/grafana/dashboards ,在页面中搜索 node exporter ,选择适合的面板,点击 Copy ID 或者 Download JSON
在 grafana 页面中,+ Create -> Import ,输入面板 ID 号或者上传 JSON 文件,点击 Load,即可导入监控面板
五、部署 Prometheus 服务发现
基于文件的服务发现是仅仅略优于静态配置的服务发现方式,它不依赖于任何平台或第三方服务,因而也是最为简单和通用的实现方式。Prometheus Server 会定期从文件中加载 Target 信息,文件可使用 YAML 和 JSON 格式,它含有定义的 Target 列表,以及可选的标签信息。
1. 创建用于服务发现的文件
创建用于服务发现的文件,在文件中配置所需的 target
[root@localhost ~]# cd /usr/local/prometheus
[root@localhost prometheus]# mkdir targets
[root@localhost prometheus]# vim targets/node-exporter.yaml
- targets:
- 192.168.190.107:9100
- 192.168.190.108:9100
labels:
app: node-exporter
job: node
[root@localhost prometheus]# vim targets/mysqld-exporter.yaml
- targets:
- 192.168.190.101:9104
labels:
app: mysqld-exporter
job: mysqld
2. 修改 prometheus 配置文件
(1)先注释掉原来的 target 配置
[root@localhost ~]# vim /usr/local/prometheus/prometheus.yml
# - job_name: nodes
# metrics_path: "/metrics"
# static_configs:
# - targets:
# - 192.168.190.107:9100
# - 192.168.190.108:9100
# labels:
# service: kubernetes
# - job_name: mysqld
# metrics_path: "/metrics"
# static_configs:
# - targets:
# - 192.168.190.101:9104
# labels:
# service: mysqld
(2)查看监控页面 Targets 信息已消失
(3)修改 prometheus 配置文件,发现 target 的配置,定义在配置文件的 job 之中
[root@localhost ~]# vim /usr/local/prometheus/prometheus.yml
- job_name: nodes
file_sd_configs: #指定使用文件服务发现
- files: #指定要加载的文件列表
- targets/node*.yaml #文件加载支持通配符
refresh_interval: 2m #每隔 2 分钟重新加载一次文件中定义的 Targets,默认为 5m
- job_name: mysqld
file_sd_configs:
- files:
- targets/mysqld*.yaml
refresh_interval: 2m
[root@localhost ~]# systemctl reload prometheus
浏览器查看 Prometheus 页面的 Status -> Targets
六、基于 Consul 的服务发现
Consul 是一款基于 golang 开发的开源工具,主要面向分布式,服务化的系统提供服务注册、服务发现和配置管理的功能。提供服务注册/发现、健康检查、Key/Value存储、多数据中心和分布式一致性保证等功能。
下载地址:https://www.consul.io/downloads/
1. 部署 Consul 服务
[root@localhost opt]# rz -E
rz waiting to receive.
[root@localhost opt]# ls
consul_1.9.2_linux_amd64.zip
[root@localhost opt]# unzip consul_1.9.2_linux_amd64.zip
Archive: consul_1.9.2_linux_amd64.zip
inflating: consul
[root@localhost opt]# mv consul /usr/local/bin/
创建 Consul 服务的数据目录和配置目录
[root@localhost opt]# mkdir /var/lib/consul-data
[root@localhost opt]# mkdir /etc/consul/
使用 server 模式启动 Consul 服务
[root@localhost opt]# consul agent \
> -server \
> -bootstrap \
> -ui \
> -data-dir=/var/lib/consul-data \
> -config-dir=/etc/consul/ \
> -bind=192.168.190.107 \
> -client=0.0.0.0 \
> -node=consul-server01 &> /var/log/consul.log &
[1] 40025
查看 consul 集群成员
[root@localhost opt]# consul members
Node Address Status Type Build Protocol DC Segment
consul-server01 192.168.190.107:8301 alive server 1.9.2 2 dc1 <all>
2. 在 Consul 上注册 Services
在配置目录中添加文件
[root@localhost opt]# vim /etc/consul/nodes.json
{
"services": [
{
"id": "node_exporter-node01",
"name": "node01",
"address": "192.168.190.107",
"port": 9100,
"tags": ["nodes"],
"checks": [{
"http": "http://192.168.190.107:9100/metrics",
"interval": "5s"
}]
},
{
"id": "node_exporter-node02",
"name": "node02",
"address": "192.168.190.108",
"port": 9100,
"tags": ["nodes"],
"checks": [{
"http": "http://192.168.190.108:9100/metrics",
"interval": "5s"
}]
}
]
}
让 consul 重新加载配置信息
[root@localhost opt]# consul reload
Configuration reload triggered
浏览器访问:http://192.168.190.107:8500
3. 修改 prometheus 配置文件
先注释掉原来的 target 配置
[root@localhost opt]# vim /usr/local/prometheus/prometheus.yml
# - job_name: nodes
# file_sd_configs:
# - files:
# - targets/node*.yaml
# refresh_interval: 2m
[root@localhost opt]# systemctl reload prometheus
此时可以看到 node 节点的 target 消失
添加 Consul target 配置
[root@localhost opt]# vim /usr/local/prometheus/prometheus.yml
- job_name: nodes
consul_sd_configs: #指定使用 consul 服务发现
- server: 192.168.190.107:8500 #指定 consul 服务的端点列表
tags: #指定 consul 服务发现的 services 中哪些 service 能够加入到 prometheus 监控的标签
- nodes
refresh_interval: 2m
浏览器查看 Prometheus 页面的 Status -> Targets,可以看到 Targets-node 又出现了。
让 consul 注销 Service:
[root@localhost opt]# consul services deregister -id="node_exporter-node02"
Deregistered service: node_exporter-node02
重新注册:
[root@localhost opt]# consul services register /etc/consul/nodes.json
Node name "localhost.localdomain" will not be discoverable via DNS due to invalid characters. Valid characters include all alpha-numerics and dashes.
Registered service: node01
Registered service: node02