聊点基础的，关于监控，关于告警（prometheus—+grafana+夜莺如何丝滑使用？）

事情的起因是这样的，昨天又群友在群里咨询一个关于grafana和prometheus配置文件的用法，整了半天也没回复，正好知道就帮了一把，今天整理成文章，希望帮到更多的朋友

大致问题的话就是图里面提到的几个，其实都是一些日常的用法了！！

先来看下，我们目前生产的一个示例，可以根据不同的维度去筛选：

上面有两个同学有问题，一个是如何实现筛选？还有就是prometheus的配置文件如何配置？

要能够筛选，第一步是需要配置文件修改，先得给不同的主机打标签

这里给出我们生产的配置文件作为参考：

prometheus主配置文件：

  - job_name: linux
    file_sd_configs:
    - refresh_interval: 1m
      files:
      - config_exporter.json
    relabel_configs:
      - source_labels: [__address__]
        regex: (.*):(\d+)
        target_label: instance
        replacement: $1

关于主机信息的配置在如下配置文件中“config_exporter.json”

{
    "targets" : ["ip1：9100"],
    "labels": {
      "env": "stg"
   }
  },
{
    "targets" : ["ip2:9100"],
    "labels": {
      "env": "prd"
   }
  }
]

打了标签之后就可以在prometheus中根据env做筛选了

然后你要在grafana中配置，可以根据需要去调整：

然后就解决了：

除了上面的内容外，也介绍下另外一个内容

不知道大家目前的日志监控是怎么做的？是用的kibana的插件？还是elasalert？或者是其它的方式

因为我们用的是elk是8.0版本的，所以一些插件目前无法使用，elasalert调研了下也不是很理想，所以索性自己写了个脚本，大致的思路是

脚本根据配置的关键字策略去elk中查找–然后生成prometheus的指标–通过夜莺去告警

prometheus中数据如下

然后就可以根据实际业务需要配置具体的告警策略了，关于告警配置啥的之前的文章都有介绍过，可以去翻下。

关于日志监控部分代码如下可以参考.写的很粗糙，也有一些问题：

from elasticsearch import Elasticsearch
from prometheus_client import Counter, start_http_server,Gauge
import time
import json
from datetime import datetime,timedelta

# Elasticsearch 配置
ELASTICSEARCH_HOST = ""
ELASTICSEARCH_PORT = 9200
ELASTICSEARCH_USER = "elastic"
ELASTICSEARCH_PASSWORD = ""


# Prometheus 监控指标
ERRORS = Gauge("elk_errors", "Number of errors in logs", ["index", "term"])

# Elasticsearch 实例化
es = Elasticsearch(
    [f"https://{ELASTICSEARCH_HOST}:{ELASTICSEARCH_PORT}"],
    http_auth=(ELASTICSEARCH_USER, ELASTICSEARCH_PASSWORD),
    ca_certs = './http_ca.crt',
    verify_certs=True
)

def load_config():
    with open(config_file, "r", encoding='utf-8') as f:
        config_data = f.read()
        config = eval(config_data)  # 将字符串转换为字典
        return config


# 定时执行 Elasticsearch 查询并更新 Prometheus 监控指标
def update_metrics():
    for index in ES_QUERY.keys():
        for term in ES_QUERY.get(index):
            print (index)
            if term.startswith("not "):
                query = {
                    "query": {
                        "bool": {
                            "must": [{"match_phrase": {"message":term.split()[1]}}],
                            "must_not":[{"match_phrase": {"message":term.split()[2]}}],
                            "filter": {"range": {"@timestamp": {"gte": "now-5m","lte": "now"}}}
    
                        }
                    }
                         
                }
            elif index.startswith("nginx"):
                query = {
                    "query": {
                        "bool": {
                            "must": [
                                {"match_phrase": {"app_name": term.split()[0]}},
                                {"range": {"status": {"gte": term.split()[1], "lt": term.split()[2]}}}
                            ],
                            "filter": {"range": {"@timestamp": {"gte": "now-5m", "lte": "now"}}}

                        }
                    }
                }                
            else:
                query = {
                    "query": {
                        "bool": {
                            "must": [
                                {"match_phrase": {"message":term.split()[0]}},
                                {"match_phrase": {"message":term.split()[1]}}
                                ],
                            "filter": {"range": {"@timestamp": {"gte": "now-5m","lte": "now"}}}
    
                        }
                    }
                         
                }
            try:
                res = es.search(index=index, body=query)

                ERRORS.labels(index, term).set(res["hits"]["total"]["value"])
            except Exception as e:
                # 处理异常情况
                print("Elasticsearch search error:", e)

# 启动 Prometheus HTTP 服务器并定时执行 Elasticsearch 查询
if __name__ == "__main__":
    start_http_server(8001)
    while True:
        today = datetime.now().strftime("%Y.%m.%d")
        yesterday = datetime.now() - timedelta(days=1)
        yesterday_str = yesterday.strftime("%Y.%m.%d")
        ES_QUERY = load_config()
        new_config = load_config()
        if ES_QUERY != new_config:  # 如果新配置和旧配置不一样，则更新变量值
            print("Config updated:", new_config)
            ES_QUERY = new_config
        update_metrics()
        time.sleep(60)