promQL first tengxun promQL开箱即用

最新推荐文章于 2024-10-06 23:23:45 发布
最新推荐文章于 2024-10-06 23:23:45 发布
阅读量542 收藏 1
点赞数
分类专栏： Prometheus-alert-grafana 文章标签： Prometheus
原文链接：https://fuckcloudnative.io/prometheus/3-prometheus/basics.html
版权 
probe_success{job="prod-middleware-fan"}   == 0

官方文档：https://fuckcloudnative.io/prometheus/3-prometheus/basics.html

tcp健康检查 job分组告警

probe_success{job=“prod-middleware-fan”} == 0

参考链接：

https://mp.weixin.qq.com/s?__biz=Mzg2OTYxNTEwMg==&mid=2247484588&idx=1&sn=60c8a9b19cc07ee85e557fc3a36615fe&chksm=ce9b103df9ec992bb48e27adb1164999a458e2b174aed20f3caa3d80c02affdff623a6c03c90&mpshare=1&scene=1&srcid=0730get2fwHrwTNR2i0cZpxP&sharer_sharetime=1627604427067&sharer_shareid=105cb1ca5770d5806e2c6b13b744b2a9&version=3.1.10.3010&platform=win#rd

一、监控主机是否存活

alert: 主机状态
expr: up == 0
for: 1m
labels:
status: 非常严重
annotations:
summary: “{{KaTeX parse error: Expected 'EOF', got '}' at position 16: labels.instance}̲}:服务器宕机" desc…labels.instance}}:服务器延时超过5分钟”

二、监控服务应用是否挂掉

alert: serverDown
expr: up{job=“acs-ms”} == 0
for: 1m
labels:
severity: critical
annotations:
description: 实例：{{ $labels.instance }} 宕机了
summary: Instance {{ $labels.instance }} down

三、监控接口异常发生情况

alert: interface_request_exception
expr: increase(http_server_requests_seconds_count{exception!=“None”,exception!=“ServiceException”,job=“acs-ms”}[1m])

0
for: 1s
labels:
severity: page
annotations:
description: '实例：{{ KaTeX parse error: Expected 'EOF', got '}' at position 17: …abels.instance }̲}的{{labels.uri}}的接口发生了{{ $labels.exception
}}异常 ’
summary: 监控一定时间内接口请求异常的数量

注：exception!=“ServiceException” 是将一些手动抛出的自定义异常给排除掉。
四、监控接口请求时长

alert: interface_request_duration
expr: increase(http_server_requests_seconds_sum{exception=“None”,job=“acs-ms”,uri!~".Excel."}[1m])
/ increase(http_server_requests_seconds_count{exception=“None”,job=“acs-ms”,uri!~".Excel."}[1m])

5
for: 5s
labels:
severity: page
annotations:
description: '实例：{{ KaTeX parse error: Expected 'EOF', got '}' at position 17: …abels.instance }̲} 的{{labels.uri}}接口请求时长超过了设置的阈值：5s，当前值{{
$value }}s ’
summary: 监控一定时间内的接口请求时长

注: uri!~".Excel." 是将一些接口给排除掉。这个是将包含Excel的接口排除掉。
五、监控系统CPU使用百分比

alert: CPUTooHeight
expr: process_cpu_usage{job=“acs-ms”} > 0.3
for: 15s
labels:
severity: page
annotations:
description: '实例：{{ $labels.instance }} 的cpu超过了设置的阈值：30%，当前值{{ $value }} ’
summary: 监测系统CPU使用的百分比

六、监控tomcat活动线程占总线程的比例

alert: tomcat_thread_height
expr: tomcat_threads_busy_threads{job=“acs-ms”}
/ tomcat_threads_config_max_threads{job=“acs-ms”} > 0.5
for: 15s
labels:
severity: page
annotations:
description: '实例：{{ $labels.instance }} 的tomcat活动线程占总线程的比例超过了设置的阈值：50%，当前值{{ $value
}} ’
summary: 监控tomcat活动线程占总线程的比例统内存使用情况

七、监控系统内存使用情况

alert: 内存使用
expr: round(100- node_memory_MemAvailabl
for: 1m
labels:
severity: warning
annotations:
summary: “内存使用率过高”
description: “当前使用率{{ $value }}%”

八、监控系统IO使用情况

alert: IO性能
expr: 100-(avg(irate(node_disk_io_time_seconds_total[1m])) by(instance)* 100) < 60
for: 1m
labels:
status: 严重告警
annotations:
summary: “{{KaTeX parse error: Expected 'EOF', got '}' at position 18: …bels.mountpoint}̲} 流入磁盘IO使用率过高！"…labels.mountpoint }} 流入磁盘IO大于60%(目前使用:{{$value}})”

九、监控tcp连接数使用情况

alert: TCP会话
expr: node_netstat_Tcp_CurrEstab > 1000
for: 1m
labels:
status: 严重告警
annotations:
summary: “{{KaTeX parse error: Expected 'EOF', got '}' at position 18: …bels.mountpoint}̲} TCP_ESTABLISH…labels.mountpoint }} TCP_ESTABLISHED大于1000%(目前使用:{{$value}}%)”

十、监控网络带宽使用情况

alert: 网络
expr: ((sum(rate (node_network_receive_bytes_total{device!~‘tap.|veth.|br.|docker.|virbr*|lo*’}[5m])) by (instance)) / 100) > 102400
for: 1m
labels:
status: 严重告警
annotations:
summary: “{{KaTeX parse error: Expected 'EOF', got '}' at position 18: …bels.mountpoint}̲} 流入网络带宽过高！" …labels.mountpoint }}流入网络带宽持续2分钟高于100M. RX带宽使用率{{$value}}”

十一、监控api接口访问延迟

alert: APIHighRequestLatency
expr: api_http_request_latencies_second{quantile=“0.5”} > 1
for: 10m
annotations:
summary: “High request latency on {{ $labels.instance }}”
description: “{{ $labels.instance }} has a median request latency above 1s (current value: {{ $value }}s)”

十二、监控JVM OLD GC耗时告警升级

在5分钟里，Old GC花费时间超过30%

alert: old-gc-time-too-much
expr: increase(jvm_gc_collection_seconds_sum{gc=“PS MarkSweep”}[5m]) > 5 * 60 * 0.3
for: 5m
labels:
severity: yellow
annotations:
summary: “JVM Instance {{ $labels.instance }} Old GC time > 30% running time”
description: “{{ $labels.instance }} of job {{ $labels.job }} has been in status [Old GC time > 30% running time] for more than 5 minutes. current seconds ({{ $value }}%)”

在5分钟里，Old GC花费时间超过50%

alert: old-gc-time-too-much
expr: increase(jvm_gc_collection_seconds_sum{gc=“PS MarkSweep”}[5m]) > 5 * 60 * 0.3
for: 5m
labels:
severity: orange
annotations:
summary: “JVM Instance {{ $labels.instance }} Old GC time > 50% running time”
description: “{{ $labels.instance }} of job {{ $labels.job }} has been in status [Old GC time > 50% running time] for more than 5 minutes. current seconds ({{ $value }}%)”

在5分钟里，Old GC花费时间超过80%

alert: old-gc-time-too-much
expr: increase(jvm_gc_collection_seconds_sum{gc=“PS MarkSweep”}[5m]) > 5 * 60 * 0.3
for: 5m
labels:
severity: red
annotations:
summary: “JVM Instance {{ $labels.instance }} Old GC time > 80% running time”
description: “{{ $labels.instance }} of job {{ $labels.job }} has been in status [Old GC time > 80% running time] for more than 5 minutes. current seconds ({{ $value }}%)”

十三、监控磁盘使用率

alert: NodeFilesystemUsage-high
expr: (1- (node_filesystem_free_bytes{fstype=~“ext3|ext4|xfs”} / node_filesystem_size_bytes{fstype=~“ext3|ext4|xfs”}) ) * 100 > 80
for: 2m
labels:
severity: warning
annotations:
summary: “{{KaTeX parse error: Expected 'EOF', got '}' at position 16: labels.instance}̲}: High Node Fi…labels.instance}}: Node Filesystem usage is above 80% ,(current value is: {{ $value }})”

十四、监控mysql资源相关

alert: MySQL is down
expr: mysql_up == 0
for: 1m
labels:
severity: critical
annotations:
summary: “Instance {{ KaTeX parse error: Expected 'EOF', got '}' at position 17: …abels.instance }̲} MySQL is down…labels.instance}}: Mysql_High_QPS detected”
description: “{{$labels.instance}}: Mysql opreation is more than 500 per second ,(current value is: {{ KaTeX parse error: Expected 'EOF', got '}' at position 7: value }̲})" alert: My…labels.instance}}: Mysql Too Many Connections detected”
description: “{{$labels.instance}}: Mysql Connections is more than 100 per second ,(current value is: {{ KaTeX parse error: Expected 'EOF', got '}' at position 7: value }̲})" alert: My…labels.instance}}: Mysql_Too_Many_slow_queries detected”
description: “{{$labels.instance}}: Mysql slow_queries is more than 3 per second ,(current value is: {{ $value }})”
alert: SQL thread stopped
expr: mysql_slave_status_slave_sql_running == 0
for: 1m
labels:
severity: critical
annotations:
summary: “Instance {{ $labels.instance }} SQL thread stopped”
description: “SQL thread has stopped. This is usually because it cannot apply a SQL statement received from the master.”
alert: Slave lagging behind Master
expr: rate(mysql_slave_status_seconds_behind_master[5m]) >30
for: 1m
labels:
severity: warning
annotations:
summary: “Instance {{ $labels.instance }} Slave lagging behind Master”
description: “Slave is lagging behind Master. Please check if Slave threads are running and if there are some performance issues!”

十五、监控Kubernetest资源相关

  • alert: PodMemUsage
    expr: container_memory_usage_bytes{container_name!=""} / container_spec_memory_limit_bytes{container_name!=""} *100 != +Inf > 80
    for: 2m
    labels:
    severity: warning
    annotations:
    summary: “{{KaTeX parse error: Expected 'EOF', got '}' at position 12: labels.name}̲}: Pod High Mem…labels.name}}: Pod Mem is above 80% ,(current value is: {{ $value }})”
  • alert: PodCpuUsage
    expr: sum by (pod_name)( rate(container_cpu_usage_seconds_total{image!=""}[1m] ) ) * 100 > 80
    for: 2m
    labels:
    severity: warning
    annotations:
    summary: “{{KaTeX parse error: Expected 'EOF', got '}' at position 12: labels.name}̲}: Pod High CPU…labels.name}}: Pod CPU is above 80% ,(current value is: {{ $value }})”

#探测node节点状态

  • alert: node-status
    annotations:
    message: node-{{ $labels.hostname }}故障
    expr: |
    kube_node_status_condition{status=“unknown”,condition=“Ready”} == 1
    for: 1m
    labels:
    severity: warning
    最后保存退出
    再编辑alertmanager-secret.yaml文件，这个文件主要是配置发送邮件或是钉钉，我
    这里是钉钉方式告警，邮件也配置了，只是没有用到，邮件现在很少看，所以直接
    钉钉告警查看了，把以下内容替换掉原来，如下：
    apiVersion: v1

    • alert: JobDown #检测job的状态，持续5分钟metrices不能访问会发给altermanager进行报警
      expr: up == 0 #0不正常，1正常
      for: 5m #持续时间 ， 表示持续5分钟获取不到信息，则触发报警
      labels:
      severity: error
      cluster: k8s
      annotations:
      summary: “Job: {{ $labels.job }} down”
      description: "Instance:{{ $labels.instance }}, Job {{ $labels.job }} stop "

  • alert: PodDown
    expr: kube_pod_container_status_running != 1
    for: 2s
    labels:
    severity: warning
    cluster: k8s
    annotations:
    summary: ‘Container: {{ $labels.container }} down’
    description: ‘Namespace: {{ $labels.namespace }}, Pod: {{ $labels.pod }} is not running’

  • alert: PodReady
    expr: kube_pod_container_status_ready != 1
    for: 5m #Ready持续5分钟，说明启动有问题
    labels:
    severity: warning
    cluster: k8s
    annotations:
    summary: ‘Container: {{ $labels.container }} ready’
    description: ‘Namespace: {{ $labels.namespace }}, Pod: {{ $labels.pod }} always ready for 5 minitue’

  • alert: PodRestart
    expr: changes(kube_pod_container_status_restarts_total[30m])>0 #最近30分钟pod重启
    for: 2s
    labels:
    severity: warning
    cluster: k8s
    annotations:
    summary: ‘Container: {{ $labels.container }} restart’
    description: ‘namespace: {{ $labels.namespace }}, pod: {{ $labels.pod }} restart {{ $value }} times’

十六、微信、邮件通知模板

global:
resolve_timeout: 5m
smtp_smarthost: xxx.xxx.cn:587
smtp_from: xxxx@xxx.cn
smtp_auth_username: xxx@xx.cn
smtp_auth_password: xxxxxxxx

#告警模板
templates:

  • ‘/usr/local/alertmanager/wechat.tmpl’

route:
#按alertname进行分组
group_by: [‘alertname’]
group_wait: 5m
#同一组内警报，等待group_interval时间后，再继续等待repeat_interval时间
group_interval: 5m
#当group_interval时间到后，再等待repeat_interval时间后，才进行报警
repeat_interval: 5m

默认微信告警

receiver: ‘wechat’

按部门rd、集群cluster、产品product区分，进行不同方式的告警

routes:

  • receiver: ‘email_rd’
    match_re:
    department: ‘rd’
  • receiver: ‘email_k8s’
    match_re:
    cluster: ‘k8s’
  • receiver: ‘wechat_product’
    match_re:
    product: ‘app’
    receivers:
    #微信告警通道
  • name: ‘wechat’
    wechat_configs:
    • corp_id: ‘wwxxxxfdd372e’
      agent_id: ‘1000005’
      api_secret: ‘FxLzx7sdfasdAhPgoK9Dt-NWYOLuy-RuX3I’
      to_user: ‘test1|test2’
      send_resolved: true
      #邮件告警通道
  • name: ‘email_tech’
    email_configs:
    • to: muxq@cityhouse.cn
      headers: {“subject”:’{{ template “email.test.header” . }}’}
      html: ‘{{ template “email.test.message” . }}’
      send_resolved: true
  • name: ‘email_k8s’
    email_configs:
    • to: ‘xxx@xx.cn,xx@xx.cn’
      headers: {“subject”:’{{ template “email.test.header” . }}’}
      html: ‘{{ template “email.test.message” . }}’
      send_resolved: true
      #微信告警通道
  • name: ‘wechat_product’
    wechat_configs:
    • corp_id: ‘wwxxxxfdd372e’
      agent_id: ‘1000005’
      api_secret: ‘FxLzx7sdfasdAhPgoK9Dt-NWYOLuy-RuX3I’
      to_user: ‘test1|test2’
      send_resolved: true
yuezhilangniao
关注
专栏目录
prometheus 时间戳_玩转Prometheus必备技能：PromQL 使用基础
weixin_39851872的博客
11-27 5785
Prometheus 通过指标名称(metrics name)以及对应的一组标签(label)唯一定义一条时间序列。指标名称反映了监控样本的基本标识，而 label 则在这个基本特征上为采集到的数据提供了多种特征维度。用户可以基于这些特征维度过滤、聚合、统计从而产生新的计算后的一条时间序列。PromQL 是 Prometheus 内置的数据查询语言，其提供对时间序列数据丰富的查询，聚合以...
Tengxun.zip
05-06
# -*- coding: utf-8 -*- # Define here the models for your spider middleware # # See documentation in: ... from scrapy import signals class TengxunSpiderMiddleware(object): # Not all methods need to ...
promql运维文档.doc
05-28
prometheus查询语法文档
prometheus学习笔记之PromQL
最新发布
weixin_46294086的博客
10-06 1288
官方文档：https://prometheus.io/docs/prometheus/latest/querying/basics/Prometheus提供⼀个函数式的表达式语⾔PromQL (Prometheus Query Language)，可以使⽤户实时地查找和聚合时间序列数据，表达式计算结果可以在图表中展示，也可以在Prometheus表达式浏览器中以表格形式展示，或者作为数据源, 以HTTP API的⽅式提供给外部系统使⽤。
PromQL
MCB134的博客
06-15 1112
PromQL（Prometheus Query Language）是 Prometheus 内置的数据查询语言。支持用户进行实时的数据查询及聚合操作。●指标名称代表着监控目标上某类可测量属性的基本特征标识●标签则是这个基本特征上再次细分的多个可测量维度◆仅给定指标名称，或在标签名称上使用了空值的标签选择器：返回给定的指标下的所有时间序列各自的即时样本。
初识PromQL
07-06 387
初识PromQL Prometheus通过指标名称（metrics name）以及对应的一组标签（labelset）唯一定义一条时间序列。指标名称反映了监控样本的基本标识，而label则在这个基本特征上为采集到的数据提供了多种特征维度。用户可以基于这些特征维度过滤，聚合，统计从而产生新的计...
PromQL，让你轻松实现监控可视化！快来了解一下吧！
JavaEdge全是干货的技术号
05-01 1422
PromQL核心价值：筛选靠查询选择器，查询分为即时查询和范围查询计算有算术、比较、逻辑、聚合运算符，还有向量匹配逻辑。
tengxun.rar_类地行星
09-23
"tengxun.rar_类地行星"这个压缩包文件似乎与腾讯地图服务相关，可能包含了一些用于绘制和分析类地行星地理数据的工具或资源。下面将详细解析这个主题中的关键知识点。 首先，我们要了解腾讯地图。腾讯地图是中国...
tengxun tdc
05-13
腾讯TDC，全称为腾讯数据中心，是腾讯公司在全球范围内的数据中心业务，致力于为腾讯自身以及其他企业提供云计算、物联网、人工智能等领域的数据服务。腾讯目前在全球共建有51个TDC，其中包括了亚太、欧洲和美洲等...
WiFiMasterSetup_tengxun_3.0.0.6.exe
02-25
WiFiMasterSetup_tengxun_3.0.0.6.exe
python自动循环定时开关机（非重启）测试
09-18
Python 自动循环定时开关机测试是一种自动化测试方法，主要用于模拟手机在特定时间间隔内的开关机操作，而不会进行系统重启。这种方法在手机整机测试中非常有用，因为它可以帮助检测设备在反复开关机过程中的稳定性...
Prometheus PromQL
2402_83805984的博客
08-20 866
它们都包含了 <basename>_sum 和 <basename>_count 指标，Histogram 需要通过 histogram_quantile 函数来计算分位数的值，而 Summary 则直接存储了分位数的值。Prometheus 定义了 4 种不同的指标类型：计数器 counter，仪表盘 gauge，直方图 histogram，摘要 summary。在瞬时向量选择器表达式后面添加包含在 [] 里的时长来表达需在时间序列上返回的样本所处的时间范围。区间向量涵盖了一段时间范围内的数据样本。
Prometheus—PromQL
aran2002的博客
08-21 925
PromQL作为Prometheus监控系统的核心查询语言，它是一种专门为时间序列数据设计的表达式语言。通过PromQL，我们能够以极其灵活和精确的方式，从海量的监控指标数据中筛选、聚合、计算和提取我们所关心的信息。1.1 PromQL 的基本语法（1）指标名称和标签选择器Prometheus 基于指标名称和标签选择器唯一定义一条时间序列。指标名称犹如数据海洋中的指南针，明确地指向我们所需的特定类型的数据。而标签选择器则像是精细的滤网，能够根据丰富的标签信息，精准地筛选出符合特定条件的数据子集。
Prometheus之PromQl
Alone8046的博客
09-20 670
/区间向量选择器 区间向量选择器类似于瞬时向量选择器，不同的是它选择的是过去一段时间的采样值。（5）计算 node01 节点最近 1m 所有容器 cpu 使用率： sum (rate(container_cpu_usage_seconds_total{instance="node01"}[1m])) / sum (machine_cpu_cores{instance="node01"}) * 100 #container_cpu_usage_seconds_total 代表容器占用CPU的时间总和。
Prometheus之PromQL
abc13245821907的博客
01-31 1282
例如，prometheus_http_requests_total{handler= ""}，则该指标名称上所有未使用该标签（handler）的时间序列也符合条件。
PromQL 介绍
小楼一夜听春雨，深巷明朝卖杏花
02-09 1876
PromQL 介绍 PromQL是 Prometheus 监控系统内置的一种查询语言，类似于MySQL的SQL语句，PromQL 允许你以灵活的方式选择、聚合等其他方式转换和计算时间序列数据，该语言仅用于读取数据。可以说 PromQL 是我们学习 Prometheus 最困难也是最重要的部分，本章节我们将介绍 PromQL 的基础知识、理论基础，然后会深入了解更加高级的查询模式。 目标 通过对本章节 PromQL 的学习你将能够有效地构建、分享和理解 PromQL 查询，可以帮助我们从容...
PromQL入门
mintflee的博客
11-17 556
Prometheus四种指标类型，以及PromQL入门
Prometheus(三)——PromQL
qq_40859395的博客
04-11 2372
通过PromQL用户可以非常方便地对监控样本数据进行 统计分析，PromQL支持常见的运算操作符，同时PromQL中还提供了大量的内置函数可以实现对数据的高级处理。PromQL作为Prometheus的核心能力除了实 现数据的对外查询和展现，同时告警监控也是依赖PromQL实现的。 1、Prometheus的数据模型 1.1、理解时间序列 通过Node Exporter暴露的HTTP服务，Prometheus可以采集到当前主机所有监控指标的样本数 据。例如： # HELP node_cpu Sec
promQL语法
weixin_45880055的博客
10-02 9231
文章目录一、表达式语言数据类型二、字面量（一）字符串（二）标量三、时间序列过滤器（一）瞬时向量过滤器（二）区间向量过滤器（三）时间位移操作四、操作符（一）二元运算符1. 算术二元运算符2. 布尔运算符3. 集合运算符（二）匹配模式1. 一对一匹配2. 多对一和一对多3. 聚合操作4. 二元运算符优先级五、PromQL 内置函数1. abs()2. absent()3. ceil()4. changes()5. clamp_max()6. clamp_min()7. day_of_month()8. day_
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值