ES8生产实践——ELK监控与告警(Kibana)

最新推荐文章于 2024-07-17 09:39:24 发布
最新推荐文章于 2024-07-17 09:39:24 发布
阅读量3.6k 收藏 18
点赞数 3
分类专栏： ELK Stack 文章标签： elk
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_33816243/article/details/132352607
版权

ELK的监控主要分为两方面，一方面是Filebeat、Logstash、Elasticsearch、Kibana自身的服务性能指标的采用与监控，另一方面是采集业务日志存入ES后，进行日志分析与告警监控。

Filebeat监控

Kibana监控Filebeat主要有以下两种方式：
方式1：在Filebeat中新增monitoring配置，将指标信息写入ES集群中
方式2：部署Metricbeat，用于收集Filebeat的指标数据并写入到ES集群中
大多数情况下，我们都会采用方式1完成Filebeat性能监控。

查询集群UUID

通过uuid标识不同的集群，只有Filebeat配置es集群的uuid后，才会在Kibana的monitor界面显示Filebeat指标信息。
首先调用_cluster API查询集群UUID
image.png

修改Filebeat配置

在Filebeat配置中，新增monitoring相关信息

[root@es-master ~]# vim /etc/filebeat/filebeat.yml
filebeat.inputs:
- type: log
  enabled: true
  paths:
    - /var/log/log_demo/info.log
output.kafka:
  enable: true
  hosts:  ["es-hot1:9092","es-hot2:9092","es-hot3:9092"]
  topic: "log_demo"
  partition.round_robin:
    reachable_only: false
  required_acks: -1
  compression: gzip
logging.level: info
logging.to_files: true
logging.files:
  path: /var/log/filebeat
  name: filebeat
  keepfiles: 7
  permissions: 0644
monitoring: # 新增monitoring相关配置
  enabled: true
  cluster_uuid: "1BEPaQ58TbWhWQfELoxt4g" # es集群uuid
  elasticsearch:
    hosts:  ["https://es-master:9200"]
    username: "elastic" 
    password: "_21FDs+tGRRSaxg=q=4P"
    ssl.certificate_authorities: ["/etc/elasticsearch/certs/http_ca.crt"]

启动测试Filebeat能否正常启动，日志有无报错信息

[root@es-master ~]# filebeat -e -c /etc/filebeat/filebeat.yml

重启filebeat服务

[root@es-master ~]# systemctl restart filebeat

访问验证

接下来访问kibana，在集群概览中已自动添加beats相关信息。
image.png
我们点击beats链接即可跳转至filebeat指标详情页面。
image.png

Logstash监控

Logstash监控指标获取主要有以下两种方式：
方式1：配置代理策略，通过Elastic Agent采集Logstash指标，将指标信息写入ES集群中。
方式2：部署Metricbeat，用于收集Logstash指标数据并写入到ES集群中
大多数情况下，我们都会采用方式1完成Logstash性能监控。

修改Logstash配置

我们需要修改Logstash配置，禁用默认的指标收集配置，并指定es集群uuid

[root@es-warm1 ~]# vim /etc/logstash/logstash.yml
# API相关配置
api.enabled: true
api.http.host: 0.0.0.0 # 如果想仅本地访问就填写127.0.0.1 如果想其他主机也能访问就填写0.0.0.0或ip
api.http.port: 9600
# Monitoring 相关配置
xpack.monitoring.enabled: false
monitoring.cluster_uuid: "1BEPaQ58TbWhWQfELoxt4g"

重启Logstash服务

[root@es-warm1 ~]# systemctl restart logstash

访问API地址验证（Logstash启动较慢，待端口监听后访问验证）

[root@es-warm1 ~]# curl '127.0.0.1:9600?pretty'
{
  "host" : "es-warm1",
  "version" : "8.8.2",
  "http_address" : "0.0.0.0:9600",
  "id" : "584f36d2-4663-4806-ba6a-ebbe11380d97",
  "name" : "es-warm1",
  "ephemeral_id" : "d84edce6-5644-45d0-accb-3f98ca1f304e",
  "status" : "green",
  "snapshot" : false,
  "pipeline" : {
    "workers" : 4,
    "batch_size" : 125,
    "batch_delay" : 50
  },
  "monitoring" : {
    "cluster_uuid" : "1BEPaQ58TbWhWQfELoxt4g"
  },
  "build_date" : "2023-06-21T13:45:14+00:00",
  "build_sha" : "6014e68522bf4575f10fd41b7b11714f9970a9ee",
  "build_snapshot" : false
}

添加代理策略

接下来配置代理策略，先添加Logstash集成。
image.png

如果指定了Logstash日志路径，在此修改路径。代理策略选择agent policy即可。
image.png

访问验证

添加完成后，等待3-5分钟，访问kibana的monitor页面即可看到已新增Logstash信息。
image.png
点击overview即可查看Logstash指标信息
image.png

Elasticsearch日志采集

部署完ES与Kibana后，Kibana会自动为我们添加es和Kibana的指标采集，但是缺少ES日志信息。我们只需要部署Fleet并配置Elasticsearch代理策略，填写Elasticsearch日志路径即可，详细配置可参考文档：https://www.cuiliangblog.cn/detail/article/61
image.png

启用Kibana告警功能

Kibana 的 Alert 模块主要用于 Elastic Stack 的监控告警。以一种相对较低的使用成本，将复杂的查询条件，编辑完成后监控不同的 Elastic Stack 的技术产品中产生的数据，最终把符合条件的告警信息以需要的方式反馈给用户。

前提条件

  1. Elasticsearch 集群启用了HTTPS的安全设置
  2. 在 Kibana 的配置文件中，添加 xpack.encryptedSavedObjects.encryptionKey 设置，它的值为至少 32 位的字符。

启用告警

Kibana 提供了一个命令行工具来生成加密字符串，该命令行工具在 bin 目录下，使用方式如下：

[root@es-master ~]# kibana-encryption-keys generate
## Kibana Encryption Key Generation Utility

The 'generate' command guides you through the process of setting encryption keys for:

xpack.encryptedSavedObjects.encryptionKey
    Used to encrypt stored objects such as dashboards and visualizations
    https://www.elastic.co/guide/en/kibana/current/xpack-security-secure-saved-objects.html#xpack-security-secure-saved-objects

xpack.reporting.encryptionKey
    Used to encrypt saved reports
    https://www.elastic.co/guide/en/kibana/current/reporting-settings-kb.html#general-reporting-settings

xpack.security.encryptionKey
    Used to encrypt session information
    https://www.elastic.co/guide/en/kibana/current/security-settings-kb.html#security-session-and-cookie-settings


Already defined settings are ignored and can be regenerated using the --force flag.  Check the documentation links for instructions on how to rotate encryption keys.
Definitions should be set in the kibana.yml used configure Kibana.

Settings:
xpack.encryptedSavedObjects.encryptionKey: ca6f4a9d6543db9ad86ed12debd6b105
xpack.reporting.encryptionKey: 4d583fae32f33b5bfc13dd88ffd62fac
xpack.security.encryptionKey: 16283b383a14d68c26efc90375d3d2c9

修改kibana配置文件，填写生成的加密字符串配置内容。

[root@es-master ~]# vim /etc/kibana/kibana.yml
xpack.encryptedSavedObjects.encryptionKey: ca6f4a9d6543db9ad86ed12debd6b105
xpack.reporting.encryptionKey: 4d583fae32f33b5bfc13dd88ffd62fac
xpack.security.encryptionKey: 16283b383a14d68c26efc90375d3d2c9

重启kibana

[root@es-master ~]# systemctl restart kibana

访问验证

访问告警页面，已经可以创建告警规则信息了。
image.png

创建告警规则

场景模拟

服务器出现5XX错误是一个非常严重的问题，假如我们需要每分钟查询一次myapp数据流的数据，如果前1分钟内access_status字段的值502、503、504个数超过10个，就发送触发一条告警信息。

调试查询语句

接下来我们使用dev tools查询工具，调试出5XX个数的查询语句，查询语句内容如下：

GET logs-myapp-default/_search
{
  "query": {
    "terms": {
      "access_status": [
        "502",
        "503",
        "504"
      ]
    }
  }
}

创建规则

告警类型我们选择Elasticsearch查询，填写名称与查询index、查询语句、告警阈值，告警规则配置如下所示：
image.png
点击测试查询，显示已匹配13个文档，说明告警规则配置无误
image.png

创建连接器

连接器，也就是告警媒介，告警通过什么方式发送出来，由于使用的社区免费版，所以暂时只开放了服务器日志和索引两个选项。如果想要使用其他告警媒介，需要购买授权才可以。接下来以索引为例，将告警信息写入指定的索引中。
image.png
在索引文档中填写入的告警信息字段，通过右侧的变量菜单可以浏览引用相关的变量。
image.png
点击保存后，告警规则添加完毕
image.png

ES集群监控告警

kibana除了可以监控指定查询语句是否满足告警条件外，还支持ES集群状态监控以及节点状态监控，我们只需要按实际需求选择对于的告警规则即可。
image.png

查看告警记录

在索引管理中，已经可以看到自动创建了名为alert-index的索引，有1条告警记录信息。
image.png
接下来创建数据视图，方便后续查看告警记录信息。
image.png
在discover中可以看到告警产生的时间和告警值信息。
image.png
虽然Kibana支持告警功能，但免费版仅能将告警记录写入指定的索引中，需要我们开发告警程序，连接ES集群定时查询告警索引记录，发现新的告警记录通知值班人员。Kibana的告警功能实属鸡肋，后续会介绍更为方便灵活的Prometheus+grafana告警方案。

参考文档

filebeat开启监控：https://www.elastic.co/guide/en/beats/filebeat/current/monitoring-internal-collection.html
logstash开启监控：https://www.elastic.co/guide/en/logstash/current/monitoring-with-elastic-agent.html
kibana开启告警：https://www.elastic.co/guide/en/kibana/8.8/alert-action-settings-kb.html#general-alert-action-settings
kibana告警规则配置：https://www.elastic.co/guide/en/kibana/8.8/create-and-manage-rules.html

查看更多

微信公众号

微信公众号同步更新，欢迎关注微信公众号《崔亮的博客》第一时间获取最近文章。

博客网站

崔亮的博客-专注devops自动化运维，传播优秀it运维技术文章。更多原创运维开发相关文章，欢迎访问https://www.cuiliangblog.cn

崔亮的博客
关注
  • 3
    点赞
  • 踩
  • 18
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
Kibana 自定义索引连接器告警
lmj3732018的博客
01-05 1万+
jar包下载后用上面修改的yml配置文件覆盖jar包中的application.yml的内容然后启动服务。到这一步，告警数据就可以正常发送到es中了，接下来需要从es中取出数据并发送邮件。这里采用java服务自定义从es中取数据并发送邮件的功能。
ELK日志收集告警
woshiwjma956的博客
04-17 530
elk日志监控与告警
Elasticsearch(ES)集群监控
最新发布
龚帅立的博客
07-17 504
Elasticsearch(ES)集群监控
Kibana：Alerting - 警报介绍
Elastic 中国社区官方博客
07-06 8164
在我之前的很多文章中，我都介绍了 Alerting。你可以在 “Elastic：菜鸟上手指南” 中的 “通知及警报” 一节找到。在今天的文章中，我将使用最新的 7.13 版本来展示如何使用 rules 来检测复制条件下的 alerts。 警报（alerting）允许你定义规则以检测不同 Kibana 应用程序中的复杂条件并在满足这些条件时触发操作。 警报与可观察性、安全性、地图和机器学习集成，可以从管理 UI 集中管理，并提供一组内置连接器和规则（称为堆栈规则）供你使用。 重要提示：要确保你可以访
Kibana使用Watcher监控服务日志并发送飞书报警(Markdown)
跟心爱的人一起浪迹天涯
11-09 2138
Kibana Watcher 是 Elasticsearch 的监控和告警工具，它允许你设置和管理告警规则以监控 Elasticsearch 数据和集群的状态。它提供了一种强大的方式来实时监控 Elasticsearch 数据、集群性能、日志和事件，以及其他关键指标。Create threshold alert: 一般用于简单的指标监控, 及Index数量统计。Create advanced watch: 高级预警, 用于创建更复杂和灵活的监控规则。
Linux-Kibana之Sentinl日志报警
孟孟的博客
03-30 1888
一、下载Sentinl插件 下载链接：https://github.com/sirensolutions/sentinl/releases/download/tag-6.6.0-0/sentinl-v6.6.0.zip PS：Sentinl版本和Kibana版本要一致 二、安装Sentinl插件 cd /usr/local/kibana/bin ./kibana-plugin ...
ES8生产实践——ELK监控与告警(Prometheus)
qq_33816243的博客
08-23 2439
kibana虽然也能实现告警，但仅能针对ES集群状态和查询结果配置告警规则，更多常用的告警媒介需要购买商业授权才可使用，且告警程序过度依赖Kibana服务，可能会因为单点故障导致告警无法正常触发。因此在生产环境中更推荐使用免费开源的Prometheus+Grafana方案实现ELK业务的监控与告警。
ELK集群 8.13.2版本
惊云
06-19 1095
很多文档都是千篇一律，没有实际验证，此次是实录相关的守程，亲测笔录
ELK 日志服务
m0_37749659的博客
08-02 520
logstash 格式转换处理，发送到es。
vmware 搭建ES8的常见错误
醉世老翁的博客
04-22 4573
1. max virtual memory areas vm.max_map_count [65530] is too low, increase to at least 解决方法：很明显，已经提示了内存过少，如果虚拟机是2G内存，是不够的，我关机调成了4G，还是出现这个，然后再用root用户修改/etc/sysctl.conf vm.max_map_count=655360 添加完之后 sysctl -p 立刻生效。 2. max file descriptors [4096] fo..
ELK日志平台搭建（一）
qq_29188123的博客
08-04 1946
ELK是由Elasticsearch、Logstash、Kiban三个开源软件的组合。在实时数据检索和分析场合，三者通常是配合共用，而且又都先后归于 Elastic.co 公司名下，故有此简称。
alerting-kibana-plugin：Elastic为Elasticsearch Kibana Alerting插件打开发行版
02-03
Elasticsearch Alert Kibana的开放发行版 通过Open Distro for Elasticsearch警报Kibana插件，您可以管理自己的以监控数据并在满足特定条件时发送通知-全部来自Kibana。 强调 创建和调度监视器，这些监视器对Elasticsearch中的数据运行周期查询。 根据触发器评估查询结果，看它们是否符合特定条件。 如果满足触发条件，则生成警报并执行操作（例如，在Slack通道中发布消息）。 文献资料 请参阅我们的。 建立 下载Elasticsearch以查找与的匹配的。 下载并安装适当的。 下载您要设置的的Kibana源代码。 有关设置开发环境的更多说明，请参见《 》。 将您的节点版本更改为Kibana根目录内.node-version指定.node-version 。 cd进入Kibana源代码目录的plugins目录。 将此软件包从版本控制中检出到plugins目录中。 在kibana/plugins/alerting-kibana-plugin内运行yarn kbn bootstrap 。 最终，您的目录结构应如
kibana插件
11-13
kibana插件 作为大数据搜索的前台显示插件。
Elasticsearch8.4.0集群安装(ELK安装part1)
yangkei
09-05 3150
elasticsearch8.4.0集群安装
Kibana插件sentinl实现邮件报警
qq_40907977的博客
02-26 3764
介绍 对日志的异常内容进行邮件报警，是因为在上周公司的线上业务多次出现锁表，开发在优化sql的同时，我也在想是不是可以对日志的异常内容进行检测并实现邮件预警。 使用插件sentinl，sentinl原名KaaE，sentinl这个插件完全可以满足我们的实际需求，接下来我们开始进行安装这个插件。 首先得知道我们的kibana的版本，因为我们安装的插件需要与我们的kibana版本一致。历史版本位置：h...
Kibana插件sentinl实现邮件报警_sentinl插件邮件告警
2401_84563987的博客
05-16 1074
echo “this is test” |mailx -v -s “Test” “收件邮箱”password: 密码。user: 发件邮箱。
MetricBeat 快速上手
温故而知新
10-28 541
MetricBeat wget https://artifacts.elastic.co/downloads/beats/metricbeat/metricbeat-7.4.1-linux-x86_64.tar.gz tar xvfz metricbeat-7.4.1-linux-x86_64.tar.gz vi metricbeat.yml 编辑 metricbeat.yml ...
Kibana：创建一个 webhook alert - Elastic Stack 8.2
Elastic 中国社区官方博客
05-07 3169
我将展示如何使用最新的 Elastic Stack 8.2 来生成一个 Alert，也就是一个警报！
【教你通透ELK】实时监控和报警
走向CTO的路上...
08-29 344
Logstash是ELK中的数据收集和传输工具，可以从多种数据源（例如文件、网络、数据库等）中搜集数据，并将数据传输到Elasticsearch中。在实时监控和报警中，Logstash需要实时地搜集数据，并将数据传输到Elasticsearch中。可以使用Elasticsearch Watcher来实现报警功能，Watcher可以监视Elasticsearch中的数据，并根据特定的条件触发警报。例如，可以使用查询语句来搜索特定的日志事件，或使用聚合器来计算指标的实时值。
es8 async 与await
09-04
ES8的Async/Await是一种用于处理异步编程的语法糖。它们的目的是简化Promise中的代码，使其更易读、更易写。Async函数是一种用于定义异步操作的函数，它在函数声明前加上async关键字。而Await关键字则用于等待一个Promise对象完成，并返回其结果值。在Async函数内部，我们可以使用Await关键字来等待一个异步操作的结果，而不需要使用.then()方法来处理Promise的回调。这样可以使异步代码看起来更像同步代码，提高代码的可读性。<span class="em">1</span><span class="em">2</span><span class="em">3</span> #### 引用[.reference_title] - *1* [AwaitKit：受 ES8 Async/Await 启发，用 Swift 实现的异步编程库.zip](https://download.csdn.net/download/weixin_38743602/11810453)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 50%"] - *2* *3* [ES8 async 与 await](https://blog.csdn.net/qq_44771388/article/details/116401509)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 50%"] [ .reference_list ]
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值