prometues监控及常用组件

最新推荐文章于 2024-02-21 12:30:00 发布
最新推荐文章于 2024-02-21 12:30:00 发布
阅读量1.7k 收藏 2
点赞数
分类专栏： linux进阶
羽帝
本文链接：https://blog.csdn.net/weixin_58422367/article/details/119375426
版权

文章目录

一、prometues部署

下载安装

  • prometues官网：https://prometheus.io/download/
wget https://github.com/prometheus/prometheus/releases/download/v2.28.0/prometheus-2.28.0.linux-amd64.tar.gz
tar xf /usr/local/prometheus-2.28.0.linux-amd64/ -C /usr/local/
mv /usr/local/prometheus-2.28.0.linux-amd64.tar.gz/ /usr/local/prometheus

启动：
   cd /usr/local/prometheus/
   ./prometheus
   ./prometheus &    #放后台启动

prometues配置启动脚本

cat >> /usr/lib/systemd/system/prometheus.service <<EOF
[Service]
ExecStart=/usr/local/prometheus/prometheus --config.file=/usr/local/prometheus/prometheus.yml

[Install]
WantedBy=multi-user.target

[Unit]
Description=prometheus
EOF


## 启动
systemctl start  prometheus.service
systemctl enable prometheus.service

访问:
    http://ip:9090

常用语法：

名称描述示例
label_values(label)返回Promthues所有监控指标中，标签名为label的所有可选值label_values(rainbow_color_stone_errorinfo{}, cmd) label_values(rainbow_color_stone_errorinfo{cmd=~"${cmd}"}, instance)

使用 :

sum(rainbow_color_stone_errorinfo{RESULT="0",instance=~"${instance}",cmd=~"${cmd}"})
名称描述示例
count()找出当前或者历史数据中某个key的数值大于或小于某个值的统计count(node_netstat_Tcp_CurrEstab >50)
irate函数irate(v range-vector)计算范围向量中时间序列的每秒即时增长率。这基于最后两个数据点。单调性中断（例如由于目标重启而导致的计数器重置）会自动调整 irate(http_requests_total{job=“linux-01”}[5m])
sum
sum(…) by(instance) (increase()) 以instance分组然后相加by(instance)
sum(…) without(instance) 去除instance，以剩下的标签分组然后相加
increase(…[1m]) 一分钟内的值
rate(…[1m]) 一分钟内的值除以60秒，如果是2m， 就除以120
topk(3,…) 取最大的3个值
ceil 对数值四舍五入
delta 计算一个范围向量v的第一个元素和最后一个元素之间的差值, delta(cpu_temp_celsius{host=“zeus”}[2h])， 过去两小时的差值，前一个值减去最后一个值

二、prometues的插件安装与使用

插件下载

插件官网：https://prometheus.io/download/
在这里插入图片描述
在这里插入图片描述

1. prometues的插件之pushgateway

pushgateway主要用于采集自定义信息

1.1 下载安装

wget https://github.com/prometheus/pushgateway/releases/download/v1.4.1/pushgateway-1.4.1.linux-amd64.tar.gz
tar xf pushgateway-1.4.1.linux-amd64.tar.gz -C /usr/local/
mv /usr/local/pushgateway-1.4.1.linux-amd64/ /usr/local/pushgateway/

1.2 pushgateway设置启动脚本

cat >> /usr/lib/systemd/system/pushgateway.service <<EOF
[Service]
ExecStart=/usr/local/pushgateway/pushgateway

[Install]
WantedBy=multi-user.target

[Unit]
Description=pushgateway
EOF


启动:
systemctl start pushgateway.service 
systemctl enable pushgateway.service

1.3 配置和使用

将以下信息添加到Prometheus的配置文件中（主节点IP为ech0的IP，其他集群可以填公网IP）

[root@VM-7-201-centos ~]# vim /usr/local/prometheus/prometheus.yml

  - job_name: 'pushgateway'
    honor_labels: true
    static_configs:
    - targets:
      - ${ip}:9091
      - ${ip}:9091
      labels:
        instance: pushgateway

重启：
systemctl restart prometheus.service

访问：
>1. 浏览器：http://${ip}:9091/metrics  (公网IP)
>2. 本地：curl http://${ip}:9091/metrics  （内网IP）

在集群中推送 和 访问都是公网IP，但在主metrics监控自己的时候，推送也是内网IP的9091端

使用方法：

# 采集的信息发生到pushgateway，通过Prometheus搜索rainbow_color_stone_errorinfo1可看到发送的指数
echo "rainbow_color_stone_errorinfo1 123" |curl --data-binary @- http://${server_IP}:9091/metrics/job/ret

# 删除指标
curl -X DELETE http://${server_IP}:9091/metrics/job/ret

1.4 示例

在本机推送是推送到内网IP的9091端
在这里插入图片描述

在prometues的web查看
在这里插入图片描述

2. node_exporter

下载

wget https://github.com/prometheus/node_exporter/releases/download/v1.2.0/node_exporter-1.2.0.linux-amd64.tar.gz
tar xf node_exporter-1.2.0.linux-amd64.tar.gz -C /usr/local/
mv /usr/local/node_exporter-1.2.0.linux-amd64 /usr/local/node_exporter

配置启动脚本

vim /lib/systemd/system/node_exporter.service

cat >> /usr/lib/systemd/system/node_exporter.service <<EOF
[Unit]
Description=node_exporter
After=network.service

[Service]
Type=simple
ExecStart=/usr/local/node_exporter/node_exporter
Restart=always
RestartSec=10
PrivateTmp=true

[Install]
WantedBy=multi-user.target
EOF


启动：
systemctl start node_exporter.service
systemctl enable node_exporter.service

添加到prometues

将以下信息添加到Prometheus的配置文件中（主节点IP为ech0的IP，其他集群可以填公网IP）

[root@VM-7-201-centos ~]# vim /usr/local/prometheus/prometheus.yml

    # all node
  - job_name: 'nodes'
    static_configs:
    - targets:
      - ${ip}:9100


重启
systemctl restart promethues.service

访问：

  1. 浏览器：http://${ip}:9100/metrics (公网IP)
  2. 本地：curl http://${ip}:9100/metrics （内网IP）

3. prometheus-nginxlog-exporter日志监控

下载

https://github.com/martin-helmich/prometheus-nginxlog-exporter
https://www.martin-helmich.de/en/blog/monitoring-nginx.html

wget https://github.com/martin-helmich/prometheus-nginxlog-exporter/releases/download/v1.9.0/prometheus-nginxlog-exporter_1.9.0_linux_amd64.rpm
rpm -ivh prometheus-nginxlog-exporter_1.9.0_linux_amd64.rpm

配置文件

[root@VM-7-201-centos ~]# cat  /etc/prometheus-nginxlog-exporter.hcl 

listen {
  port = 4040
}

enable_experimental = true

namespace "nginx1" {
  source = {
    files = [
      "/data/rail/entry/nginx/logs/access.log"
    ]
  }

  format = "{\"time_local\":\"$time_local\",\"@timestamp\":\"$time_iso8601\",\"server_name\":\"$server_name\",\"server_addr\":\"$server_addr\",\"server_port\":\"$server_port\",\"http_host\":\"$http_host\",\"http_user_agent\":\"$http_user_agent\",\"http_cookie\":\"$http_cookie\",\"http_referer\":\"$http_referer\",\"proxy_add_x_forwarded_for\":\"$proxy_add_x_forwarded_for\",\"remote_addr\":\"$remote_addr\",\"remote_port\":\"$remote_port\",\"tcpinfo_rtt\":$tcpinfo_rtt,\"connection\":\"$connection\",\"connection_requests\":\"$connection_requests\",\"ssl_protocol\":\"$ssl_protocol\",\"ssl_server_name\":\"$ssl_server_name\",\"ssl_session_id\":\"$ssl_session_id\",\"ssl_session_reused\":\"$ssl_session_reused\",\"ssl_cipher\":\"$ssl_cipher\",\"status\":$status,\"request\":\"$request\",\"request_uri\":\"$request_uri\",\"request_time\":\"$request_time\",\"http_content_length\":\"$http_content_length\",\"request_length\":$request_length,\"bytes_sent\":$bytes_sent,\"body_bytes_sent\":$body_bytes_sent,\"upstream_addr\":\"$upstream_addr\",\"upstream_connect_time\":\"$upstream_connect_time\",\"upstream_header_time\":\"$upstream_header_time\",\"upstream_status\":\"$upstream_status\",\"upstream_response_time\":\"$upstream_response_time\",\"upstream_cache_status\":\"$upstream_cache_status\",\"geoip_city_country_code\":\"$geoip_city_country_code\",\"scheme\":\"$scheme\",\"http_x_client_proto\":\"$http_x_client_proto\"}" 

  labels {
    app = "dd1-entry"
  }

  relabel "request_uri" {
    from = "request_uri"
  }
}

namespace定义指标名，format是日志格式，如"{“time_local”:"$time_local"}将要取的值用变量引用起来

添加到prometues

将以下信息添加到Prometheus的配置文件中（主节点IP为ech0的IP，其他集群可以填公网IP）

[root@VM-7-201-centos ~]# vim /usr/local/prometheus/prometheus.yml

  - job_name: 'nginxlog'
    static_configs:
    - targets:
      - ${ip}:4040

重启
systemctl restart prometues.service

>访问：
>1. 浏览器：http://${ip}:4040/metrics  (公网IP)
>2. 本地：curl http://${ip}:4040/metrics  （内网IP）

4. process-exporter进程监控

由于我们常用的node_exporter并不能覆盖所有监控项，这里我们使用Process-exporter 对进程进行监控。

下载按装

wget https://github.com/ncabatoff/process-exporter/releases/download/v0.4.0/process-exporter-0.4.0.linux-amd64.tar.gz
tar -xvf  process-exporter-0.4.0.linux-amd64.tar.gz -C /usr/local/

创建配置文件

Process-exporter 可以进程名字匹配进程，获取进程信息。匹配规则由name对应的模板变量决定

  • 监控进程名字为nginx 与 grafana的进程状态
vim process-name.yaml

process_names:
  - name: "{{.Matches}}"
    cmdline:
    - 'nginx'

  - name: "{{.Matches}}"
    cmdline:
    - 'grafana'
  • 定义全部进程监控
vim conf.yaml

process_names:
  - name: "{{.Comm}}"
    cmdline:
    - '.+'

配置启动脚本

cat >> /usr/lib/systemd/system/process.service <<EOF
[Service]
ExecStart=/usr/local/process-exporter/process-exporter -config.path /usr/local/process-exporter/process-name.yaml

[Install]
WantedBy=multi-user.target

[Unit]
Description=process
EOF


启动：
systemctl start process.service
systemctl enable process.service

添加到prometues

将以下信息添加到Prometheus的配置文件中（主节点IP为ech0的IP，其他集群可以填公网IP）

[root@VM-7-201-centos ~]# vim /usr/local/prometheus/prometheus.yml

  - job_name: 'process-exporter'
    static_configs:
    - targets:
      - ${ip}:9256

重启
systemctl restart prometues.service

>访问：
>1. 浏览器：http://${ip}:9256/metrics  (公网IP)
>2. 本地：curl http://${ip}:9256/metrics  （内网IP）

使用扩充

  • 查看所有监控项
curl http://localhost:9256/metrics
  • 总进程数
sum(namedprocess_namegroup_states)
  • 总僵尸进程数
sum(namedprocess_namegroup_states{state="nginx"})

5. mtail

下载安装

下载地址：https://github.com/google/mtail/releases

mtail是谷歌开发的一款日志收集工具，用于从应用程序日志中提取白盒监视数据以收集在时间序列数据库中。此版本是可执行二进制文件，解压移动至/usr/local/sbin下即可使用

wget https://github.com/google/mtail/releases/download/v3.0.0-rc47/mtail_3.0.0-rc47_Linux_x86_64.tar.gz
tar xf mtail_3.0.0-rc47_Linux_x86_64.tar.gz -C /usr/local/sbin

mtail -version

mtail后台启动：

nohup mtail -port 3903 -logtostderr -progs /root/chuangmi.mtail -logs /home/ubuntu/video_server_for_ai/media_server.log &

使用:

如error_count.mtail
下面这个文件的意思是：error_count变量值统计了日志中包含ERROR字串的行数

counter error_count
 
/ERROR/ {
  error_count++
}

运行

mtail -logtostderr -progs ~/mtail/prog/error_count.mtail -logs ~/mtail/prog/php.log

-progs参数需要以.mtail结尾，脚本内容为需要从日志中提取的指标

  • mtail支持的类型：

mtail中的counter、gauge、histogram三种类型与prometheus类型中描述的作用一致。

  • counter：
    counter 类型的数据是单调递增的指标，即只增不减。如，你可以使用 counter 类型的指标来表示服务的请求数、成功任务数、失败的任务数等。

  • gauge:
    gauge类型的数据是指可以任意变化的指标，可增可减。如，可以提取正则匹配到的数据，直接赋值给指标变量返回，或者计算后返回。

  • histogram
    histogram（直方图）将数据分段统计，引用prometheus中对histogram的描述：

添加到prometues

[root@VM-7-201-centos ~]# vim /usr/local/prometheus/prometheus.yml

  - job_name: 'phplogmtail'
    static_configs:
    - targets:
      - ${ip}:3903

重启
systemctl restart prometues.service

>访问：
>1. 浏览器：http://${ip}:9256/metrics  (公网IP)
>2. 本地：curl http://${ip}:9256/metrics  （内网IP）

6. blackexporter黑盒监控

下载安装

docker安装方法以及下载地址：

https://github.com/prometheus/blackbox_exporter

二进制安装：

wget https://github.com/prometheus/blackbox_exporter/releases/download/v0.19.0/blackbox_exporter-0.19.0.linux-amd64.tar.gz
tar xf blackbox_exporter-0.19.0.linux-amd64.tar.gz -C /usr/local/
mv /usr/local/blackbox_exporter-0.19.0.linux-amd64 /usr/local/blackbox_exporter

启动命令：

cd /usr/local/blackbox_exporter
./blackbox_exporter &    # 加&放后台执行

配置启动脚本：
vim /lib/systemd/system/blackexporter.service

[Service]
ExecStart=/usr/local/blackbox_exporter/blackbox_exporte --web.listen-address=:9115 --config.file=/usr/local/blackbox_exporter/blackbox.yml

[Install]
WantedBy=multi-user.target

[Unit]
Description=blackexporter

使用

通用占位符定义如下：

<boolean>: 一个布尔值，可以取值true或false
<int>: 一个正整数
<duration>: 匹配正则表达式的持续时间 [0-9]+(ms|[smhdwy])
<filename>: 当前工作目录中的有效路径
<string>: 普通字符串
<secret>：作为秘密的常规字符串，例如密码
<regex>: 正则表达式
其他占位符是单独指定的。

模块

  #进行探测的协议（http、tcp、dns、icmp）。
  prober : <prober_string> 

  #探针在放弃之前将等待多长时间。
  [ timeout : <duration> ] 

  #特定的探针配置 - 最多应指定其中之一。
  [ http : <http_probe> ] 
  [ tcp : <tcp_probe> ] 
  [ dns : <dns_probe> ] 
  [ icmp : <icmp_probe> ]

配置文件

vim /usr/local/prometheus/prometheus.yml
# 网站监控
  - job_name: 'http_status'
    metrics_path: /probe
    params:
      module: [http_2xx]
    static_configs:
      - targets: ['http://xxx.com', 'xxx.com']
        labels:
          instance: http_status
          group: web
    relabel_configs:
      - source_labels: [__address__]
        target_label: __param_target
      - target_label: __address__
        replacement: ip:9115

# ping 检测
  - job_name: 'ping_status'
    metrics_path: /probe
    params:
      module: [icmp]
    static_configs:
      - targets: ['ip']
        labels:
          instance: 'ping_status'
          group: 'icmp'
    relabel_configs:
      - source_labels: [__address__]
        target_label: __param_target
      - target_label: __address__
        replacement: ip:9115

# 端口监控
  - job_name: 'port_status'
    metrics_path: /probe
    params:
      module: [tcp_connect]
    static_configs:
      - targets: ['ip:80', 'ip:9000', 'ip:8080']
        labels:
          instance: 'port_status'
          group: 'port'
    relabel_configs:
      - source_labels: [__address__]
        target_label: __param_target
      - target_label: __address__
        replacement: ip:9115

其他参考：https://blog.frognew.com/2018/02/prometheus-blackbox-exporter.html

java技术专家【prometheus】3.4 prometheus配置文件和6大模块讲解
大壮
03-10 101
java技术专家【prometheus】3.4 prometheus配置文件和6大模块讲解
kube-prometheus监控rocketmq
最新发布
wuxingge的博客
11-25 486
参考kube-prometheus部署。
Prometheus 收集指标插件工具
jingzhiz 专属移动笔记
05-22 403
监控工具 cAdvirsor： 推荐使用监控容器的工具，它是由 Google 开源的，在Kubernetes中，不需要单独去安装，cAdvisor 作为 kubelet 内置的一部分程序可以直接使用，主要是容器的CPU、内存、磁盘、网络、负载等指标； node-exporter： 宿主机监控工具，监控宿主机的CPU、内存、磁盘、网络及可用性等指标； kube-state-metrics： 它监听...
Promethues （普罗米修斯）详细介绍
热门推荐
weixin_71429844的博客
10-25 4万+
Promethues （普罗米修斯）详细介绍
Prometheus介绍
一支花傲寒的博客
03-28 358
一、Prometheus 互联网技术逐步发展之后，监控成为线上系统不可或缺的一环。许多人都用过zabbix，在几年前，只要说到系统监控，肯定无法绕开它。 但是当容器化技术出现之后，它就开始显得有点不太够用了。于是Promethues出现了。 话不多说，来借网友的成果来比较下他们： 我们发现，自从google发明了golang后，许多应用都采用golang来写了，特别是现在耳熟能详的docker、k8s等等，都是golang写出来的。 二、Promethues架构解析 在微服务、容器化技术大行其道的当下，如
Kubernetes Prometheus 监控 Nginx
运维那些事儿
06-20 1197
kubernetes prometheus 监控 nginx
prometheus+grafana监控tomcat服务
MOON的博客
03-31 2137
监控Java类程序都可以使用prometheus提供的jmx_exporter，下面是监控tomcat服务的实例：
python调用prometheus_python获取tidb prometheus监控数据
weixin_39593961的博客
01-30 372
# -*- coding:utf-8 -*- #import requestsimport time‘‘‘采样范围太大就会提示{"status":"error","errorType":"execution","error":"query processing would load too many samples into memory in query execution"}‘‘‘check_...
Prometheus简介和安装教程
BaiYZ的Blog
09-20 2563
Prometheus 是一套开源的系统监控报警框架。它启发于 Google 的 borgmon 监控系统，由工作在 SoundCloud 的 google 前员工在 2012 年创建，作为社区开源项目进行开发，并于 2015 年正式发布。2016 年，Prometheus 正式加入 Cloud Native Computing Foundation，成为受欢迎度仅次于 Kubernetes 的项目。
Grafana自定义变量使用笔记
weixin_41539438的博客
03-25 8082
简介 随便记录一下，为什么要使用自定义参数，用这个有啥好处 我们在使用Grafana来配置看板时经常遇到一个指标有多台主机需要添加监控，这就让添加过程重复做，而且当我们添加新的node时还要来添加监控项目，烦死了……@_@，有没有好的方法能自动遍历呢？有过编程经验的小伙伴肯定会想把相同监控指标的一类拿来编辑不就可以了？是的，就是这样！ 我们要做的事情就是将具有共同监控指标的拿来分分组，展示出来，Grafana自定义变量就是用来干这事的！不废话了，看实例： 文档地址 函数 作用 labe
Grafana 面板添加动态参数 增加可选项
小楼一夜听春雨，深巷明朝卖杏花
03-22 1万+
现在我们在一个 Dashboard 中添加了两个 Panel，我们可以很明显看到会直接将所有的节点信息展示在同一个面板中，但是如果有非常多的节点的话数据量就非常大了，这种情况下我们最好的方式是将节点当成参数(通过这个参数添加到Promql里面去，实现对时间序列的过滤，比如只过滤出某些节点)，可以让用户自己去选择要查看哪一个节点的监控信息，要实现这个功能，我们就需要去添加一个以节点为参数的变量来去查询监控数据。 点击 Dashboard 页面右上方的Dashboard settings按钮，进入配置页面..
Grafana 变量
mixboot
12-26 6429
Grafana 变量数据源主机名ip地址 数据源 label_values(job) node prometheus 主机名 label_values({job=~"$job"},nodename) k091 ip地址 label_values({job=~"$job",nodename=~"$hostname"},instance) localhost:9100
prometheus label标签的使用
11
02-21 1880
标签提供了时间序列的纬度，它们可以定义目标，并为时间序列提供上下文，但最重要的是结合指标名称，它们构成了时间序列的表示，如果它们改变了，那么时间序列的表示也会改变删除不必要的指标从指标中删除敏感或不需要的标签添加、编辑或修改指标的标签值或标签格式记住有两个阶段我们可以重新命名。第一阶段是重新标记来自服务发现的目标。这对于将来自服务发现的元数据标签的信息应用到您的度量上的标签非常有用。这是在作业内部的relabel_configs块中完成的。
Prometheus(三)——PromQL
qq_40859395的博客
04-11 2763
通过PromQL用户可以非常方便地对监控样本数据进行 统计分析，PromQL支持常见的运算操作符，同时PromQL中还提供了大量的内置函数可以实现对数据的高级处理。PromQL作为Prometheus的核心能力除了实 现数据的对外查询和展现，同时告警监控也是依赖PromQL实现的。 1、Prometheus的数据模型 1.1、理解时间序列 通过Node Exporter暴露的HTTP服务，Prometheus可以采集到当前主机所有监控指标的样本数 据。例如： # HELP node_cpu Sec
Prometheus查询语法总结
Brother_ning的博客
12-30 1863
Prometheus通过指标名称（metrics name）以及对应的一组标签（labelset）唯一定义一条时间序列。指标名称反映了监控样本的基本标识，而label则在这个基本特征上为采集到的数据提供了多种特征维度。用户可以基于这些特征维度过滤，聚合，统计从而产生新的计算后的一条时间序列。PromQL是Prometheus内置的数据查询语言，其提供对时间序列数据丰富的查询，聚合以及逻辑运算能力的支持。并且被广泛应用在Prometheus的日常应用当中，包括对数据查询、可视化、告警处理当中。
语义分割中单类别和多类别图片数据标注，以及灰度类别转换
哆啦A梦爱学习的博客
11-13 1万+
精、点击上方“码农的后花园”，选择“星标”公众号 精选文章，第一时间送达上期讲解了语义分割模型的基本架构和常用数据集，这期就讲解一下语义分割数据集的制作，追下去吧~制作总体步骤：1...
Go：普罗米修斯中间件开发
鄢秋实的博客
08-30 2897
目录  Prometheus介绍  Grafana介绍和使用  Prometheus中间件开发  测试Prometheus中间件 Prometheus介绍 分布式监控系统 完全被开源，使用Go进行开发 ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值