ELK
文章平均质量分 57
IMJCW
小孩子的心思像星空,看得见却看不懂。
展开
-
ELKF日志学习(十四)Kibana基于Sentinl实现钉钉告警
前言最好先学习一下 sentinl 的使用,以及 Elasticsearch 的语法。代码仓库talk-lucky/elkf-study配置流程如果不熟悉的话,建议先使用 Wizard 来配置一些东西,再转换成 Advanced。一般分四部分,分别是:输入、条件、行为、其它。输入这个一般是指定 index,配置一些筛选条件,比如(这是 Advanced 的示例):{ "search":{ "request":{ "index":[原创 2021-01-11 09:19:45 · 942 阅读 · 0 评论 -
ELKF日志学习(十三)Kibana安装Sentinl插件
前言低版本的 Kibana 中,想要实现钉钉告警,只能通过第三方插件来实现。这也就是为什么我们需要使用 Kibana:6.5.4 和 Kibana:7.6.1 来介绍了。除了第三方插件,Elasticsearch 也可以实现钉钉告警,但是 6.5.4 的版本中,Elasticsearch 不支持 webhook,所以就只能使用插件了。还有一个用第三方插件的好处就是,免费!免费!免费!Elasticsearch 的白金版才能实现告警,但需要收费。不过,这对于有这方面需求的公司,应该也是能负担的。安原创 2021-01-11 09:19:27 · 683 阅读 · 0 评论 -
ELKF日志学习(十二)Kibana基础介绍
前言kibana 是数据分析和可视化平台,通常依赖 elasticsearch 。因为 Kibana 的配置相对于其它模块相对较少,这里大部分是类似于使用教程。代码仓库talk-lucky/elkf-study优点&能力还是直接看官网吧,这个懒得截图了。传送门注意点配置方面这里分别提供了两个版本的 Dockerfile 配置。在 Kibana 方面,有点差异。kibana/kibana.yml 文件中。server.name: kibanaserver.host: 0.0.原创 2021-01-11 09:19:08 · 138 阅读 · 0 评论 -
ELKF日志学习(十一)Logstash实现钉钉告警(莫当真)
前言本来不想写这篇文章的,奈何有人崇尚这个,顺带介绍一下,扩展一下思路。代码仓库talk-lucky/elkf-study弊端比如:当 499(HTTP 状态码) 在半小时内出现了 50 次,需要实现告警。这种情况就不能自定义了,只能说,出现 499 就告警,这个很傻。麻烦一点的解决方案就是统计后,写入某一个日志文件,然后再根据来源来分辨是否发送告警。好像有点傻…毕竟,都已经统计了,直接告警就行,还要写日志,再通过 Logstash 发送告警,有点冗余。至于怎么统计,好像有个 KSQL原创 2021-01-08 14:20:53 · 637 阅读 · 0 评论 -
ELKF日志学习(十)Logstash解析日志成json
前言之前大致说了一下 Logstash 的能力。关于输入输出并不多做介绍了,这里主要讲解一下日志解析部分。代码仓库talk-lucky/elkf-studyGrok原理很简单,就是 正则。这里有个非常实用的网站 Grok Debugger,可以帮助我们验证调试解日志的正则。(可能需要自备梯子)官方有一部分预定义 grok 的表达式,可以参考,我们也可以编写一些预定义的表达式供后续使用。Kibana 也提供了相应的工具,只不过没那么好用罢了。示例比如,有这么一段日志(nginx/acce原创 2021-01-08 14:20:37 · 949 阅读 · 0 评论 -
ELKF日志学习(九)Logstash基础介绍
前言Logstash 是数据收集引擎,可以对数据进行过滤、分析、丰富、统一格式等操作,存储到用户指定的位置,包含但不限于文件、 elasticsearch 。配置Logstash 的配置分为 3 部分,输入、过滤器 和 输出。input { # 这里填写输入部分}filter { # 这里填写过滤、解析部分}output { # 这里填写解析部分}输入官方文档传送门相对于 FileBeat,Logstash 的输入类型丰富很多。支持 FileBeat、原创 2021-01-08 14:20:21 · 158 阅读 · 0 评论 -
ELKF日志学习(八)Filebeat写入Elasticsearch
前言上节将日志存储为 json 格式了,并通过 FileBeat 解析了 json 格式。那我们可以直接将 json 日志写入 Elasticsearch 中了。写入 Elasticsearch官方文档:传送门直接写入为了方便,这里设置了 Elasticsearch 是免密的。output.elasticsearch: hosts: ["elasticsearch:9200"]默认的 index 是 filebeat-* 格式的。我们可以自定义 index。output.elast原创 2021-01-04 13:48:40 · 662 阅读 · 0 评论 -
ELKF日志学习(七)Filebeat解析json
这是 EKF 的部分,抛去了 Logstash。前言有些时候,我们已经将日志存储成了 json 的格式,而且不需要经过 Logstash 了,我们可以直接将日志写入 Elasticsearch 中。识别 jsonFileBeat 可以解析 json 格式的日志,并将其传递给 Elasticsearch。 比如:filebeat.inputs: - type: log enabled: true fields: source: nginx_access_log .原创 2020-12-30 12:18:34 · 2008 阅读 · 0 评论 -
ELKF日志学习(六)FileBeat过滤日志
前言在分析日志的时候,是否有遇到过一些无用的日志?这种情况最好是处理好记录日志的情况,如果无法处理,我们只能过滤了。include_lines指定记录包含某些内容的行,比如:filebeat.inputs: - type: log paths: - /var/log/lumen/lumen.log include_lines: ['pro.ERROR', 'pro.WARN']这样 FileBeat 就会收集包含 pro.ERROR、pro.WARN 的日志行。原创 2020-12-29 11:21:29 · 5336 阅读 · 0 评论 -
ELKF日志学习(五)FileBeat解析多行日志
前言在我们的日常工作中,日志并不像 nginx/access.log 那样整齐,每一行都代表一条日志记录。通常业务日志、错误日志经常出现跨行的情况,最常见的就是栈。[2020-11-26 05:43:31] local.ERROR: Error Processing Request {"exception":"[object] (Exception(code: 1): Error Processing Request at /var/www/html/crm/service/src/app/Http/原创 2020-12-28 10:34:07 · 1427 阅读 · 0 评论 -
ELKF日志学习(四)FileBeat基础配置
前言在 《ELKF日志学习(一)前言》 中介绍过 FileBeat,是一个轻量级的开源日志文件数据搜集器,负责对服务的日志进行收集。因为 logstash 是 jvm 跑的,资源消耗比较大,所以后来作者又用 golang 写了一个功能较少但是资源消耗也小的轻量级的 logstash-forwarder。不过作者只是一个人,加入 http://elastic.co 公司以后,因为 es 公司本身还收购了另一个开源项目 packetbeat,而这个项目专门就是用 golang 的,有整个团队,所以 es原创 2020-12-24 09:05:17 · 261 阅读 · 0 评论 -
ELKF日志学习(三)EKF平台搭建 Docker单机
本文和 《ELKF日志学习(二)ELKF平台搭建 Docker单机》 的区别如下:去除了 Logstash 模块。Filebeat 直接写入 Elasticsearch。熟悉者可以直接进入相应目录安装环境。前言本文是基于 hub.docker.com 站点提供的 Docker 容器进行搭建的,且是 单机 ,仅用于学习。代码仓库talk-lucky/elkf-study EKF目录说明为了能够达到更好的学习效果,这里将 Elasticsearch 设置成了无需密码的状态。同时,El.原创 2020-12-23 16:24:50 · 377 阅读 · 0 评论 -
ELKF日志学习(二)ELKF平台搭建 Docker单机
前言本文是基于 hub.docker.com 站点提供的 Docker 容器进行搭建的,且是 单机 ,仅用于学习。代码仓库talk-lucky/elkf-study ELKF目录说明为了能够达到更好的学习效果,这里将 Elasticsearch 设置成了无需密码的状态。同时,Elasticsearch 也用的是免费版。后期告警部分,会使用 Elasticsearch 白金收费版,默认只有试用 30 天,如果需要更长时间的试用,需要付费购买。镜像版本Docker 镜像版本: 7.6.1。原创 2020-12-23 16:23:23 · 527 阅读 · 0 评论 -
ELKF日志学习(一)前言
背景随着业务的不断发展,公司也越来越注重产品的质量和其稳定性,主张快速发现问题,快速解决问题。日志分析也就进入了我们必做的环节之一。由于公司目前都是自建的服务,现有的服务是 EKF 的形式,也就基于这个学习了一番。在经过一番了解后,对日志系统有了一定的了解,便以文章记录所学。代码仓库talk-lucky/elkf-study什么是ELKFELKF 是 Elasticsearch 、 Logstash 、 Kibana 、 Filebeat 的简称。下面是对于这些软件作用的简述:名原创 2020-12-17 13:42:27 · 484 阅读 · 1 评论