Elastic Stack之应用系统日志结构化

最新推荐文章于 2024-08-14 16:42:19 发布
最新推荐文章于 2024-08-14 16:42:19 发布
阅读量264 收藏 1
点赞数
文章标签： 大数据 数据分析 ELK elastic 日志
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/wangxudongx/article/details/118934325
版权

系列文章目录

Elastic Stack之日志收集Logstash
Elastic Stock之日志收集：优化篇

Elastic Stack之应用系统日志结构化

前言

Logstash日志采集流程大致分为： 输入、过滤器和输出；三个步骤。

我的架构方案是：
logback通过rabbitmq将日志传递到Logstash通过插件来实时过滤和结构化，
另外一种方案是在应用系统内使用logstash-logback-encoder来转码日志，效果如https://blog.csdn.net/wangxudongx/article/details/103743963。

这里我们介绍通过插件过滤的方案。

Logstash 能够动态地采集、转换和传输数据，不受格式或复杂度的影响。利用 Grok 从非结构化数据中派生出结构，从 IP 地址解码出地理坐标，匿名化或排除敏感字段，并简化整体处理过程。

筛选
实时解析和转换数据
数据从源传输到存储库的过程中，Logstash 过滤器能够解析各个事件，识别已命名的字段以构建结构，并将它们转换成通用格式，以便进行更强大的分析和实现商业价值。

Logstash 能够动态地转换和解析数据，不受格式或复杂度的影响：

利用 Grok 从非结构化数据中派生出结构
从 IP 地址破译出地理坐标
将 PII 数据匿名化，完全排除敏感字段
简化整体处理，不受数据源、格式或架构的影响
使用我们丰富的过滤器库和功能多样的 Elastic Common Schema，您可以实现无限丰富的可能。

想要将应用系统日志转成结构化数据放入ES我们需要做一些操作，当前有两个方案；一是在应用端使用logstash-logback-encoder库，另一个是使用Logstash提供的filter插件来做，这里我们使用filter插件，有关logstash-logback-encoder的使用请看博主的同系列文章。

提示：以下是本篇文章正文内容，下面案例可供参考

环境

组件版本
CentOS7
Docker20.10.7
elasticsearch7.6.2
logstash7.6.2
kibana7.6.2
rabbitmq3.8.9-management

Logstash filter（筛选）

实时解析和转换数据

数据从源传输到存储库的过程中，Logstash 过滤器能够解析各个事件，识别已命名的字段以构建结构，并将它们转换成通用格式，以便进行更强大的分析和实现商业价值。

Logstash 能够动态地转换和解析数据，不受格式或复杂度的影响： 利用 Grok 从非结构化数据中派生出结构 从 IP 地址破译出地理坐标 将 PII 数据匿名化，完全排除敏感字段 简化整体处理，不受数据源、格式或架构的影响 使用丰富的过滤器库和功能多样的 Elastic Common Schema，您可以实现无限丰富的可能。

Grok 过滤器插件

Grok是Logstash众多过滤器插件当中的一个，是将非结构化日志数据解析为结构化和可查询的东西的好方法。原理是使用正则表达式。

这里我们使用的插件版本：v4.2.0

默认情况下，Logstash 附带大约 120 种模式。你可以在这里找到它们：https://github.com/logstash-plugins/logstash-patterns-core/tree/master/patterns
你可以简单地添加你自己的。（见patterns_dir设置）

Grok 还是 Dissect？或两者？
该dissect过滤器插件是另一种方式，以提取非结构化事件数据到使用定界符字段。

Dissect 与 Grok 的不同之处在于它不使用正则表达式并且速度更快。当数据可靠地重复时，解剖效果很好。当您的文本结构因行而异时，Grok 是更好的选择。

您可以将 Dissect 和 Grok 用于混合用例，当线路的一部分可靠地重复，但整条线路不是。Dissect 过滤器可以解构重复的线段。Grok 过滤器可以处理具有更多正则表达式可预测性的剩余字段值。

这里我不对DIssect进行介绍了，有兴趣可以自行去看文档。

grok官方文档
https://www.elastic.co/guide/en/logstash/current/plugins-filters-grok.html

Grok 基础知识

Grok用的正则表达式库是 Oniguruma

Grok 的工作原理是将文本模式组合成与您的日志相匹配的内容。

grok 模式的语法是 %{SYNTAX:SEMANTIC:TYPE}

SYNTAX是，将匹配文本模式的名称。直白来说就是一段Logstash或者你自定义的正则表达式的名字。

比如说MINUTE (?:[0-5][0-9])
MINUTE就是(?:[0-5][0-9])`这段表达式的名字，可以在pipeline的grok段使用。

该SEMANTIC是你给一段文字的标识相匹配之后所生成的字段名称。例如，35可能是事件的持续时间，因此您可以简单地将其称为minute。

对于上面的示例，您的 grok 过滤器将如下所示：

%{ MINUTE:持续时间}

您还可以选择向您的 grok 模式添加数据类型转换。默认情况下，所有语义都保存为字符串。如果您希望转换语义的数据类型，例如将字符串更改为整数，然后使用目标数据类型作为后缀。例如%{NUMBER:num:int}，将num语义从字符串转换为整数。目前唯一支持的转换是int和float。

自带的grok 方法

cat /usr/share/logstash/vendor/bundle/jruby/2.5.0/gems/logstash-patterns-core-4.1.2/patterns/grok-patterns

https://github.com/logstash-plugins/logstash-patterns-core/tree/master/patterns

配置pipeline

pipeline 配置

如果在Logstash默认提供的匹配模式中没有找到适合的，我们也可以用正则表达式自定义模式。
如下面的配置项patterns_dir 就是指定自定义配置模式的文件。

配置文件内容示例：

USERNAME [a-zA-Z0-9._-]+
USER %{USERNAME}

input {
  rabbitmq {
                host => "3.8.23.16"
                port => 5672
                user => admin
                password => "blke134343"
                durable => true
                queue => "q_logstash"
                codec => plain                                                                        
    }
}

 filter{
       grok{
                patterns_dir => "/usr/share/logstash/my-grok-pattern"
               match => { "message" => "%{DATESTAMP:logTime} %{THREAD:thread} %{LOGLEVEL:logLevel} %{GREEDYDATA:logContent}"
                        }
                remove_field => ["message"]
       }

}

output {
        stdout { codec => rubydebug  }
            elasticsearch { hosts => "172.17.0.3:9200"  }       
}

原本的日志

2021-07-20 10:26:24.952 [http-nio-6002-exec-9] DEBUG c.rocky.chats.mapper.ChatsUserinfoMapper.selectOne.? ? - ==>  Preparing: SELECT create_by,create_time,update_by,update_time,id,nickname,sex,short_id,level,mobile,email,channel,deleted,headimg,pwd,birthday FROM chats_userinfo WHERE email = ? AND pwd = ? \n

{
      "@version" => "1",
    "@timestamp" => 2021-07-20T10:26:24.994Z,
       "message" => "2021-07-20 10:26:24.952 [http-nio-6002-exec-9] DEBUG c.rocky.chats.mapper.ChatsUserinfoMapper.selectOne.? ? - ==>  Preparing: SELECT create_by,create_time,update_by,update_time,id,nickname,sex,short_id,level,mobile,email,channel,deleted,headimg,pwd,birthday FROM chats_userinfo WHERE email = ? AND pwd = ? \n"
}

grok转换后的日志

{
      "@version" => "1",
    "@timestamp" => 2021-07-20T10:24:33.307Z,
       "logTime" => "21-07-20 10:24:33.251",
    "logContent" => "c.rocky.chats.mapper.ChatsUserinfoMapper.selectOne.? ? - ==>  Preparing: SELECT create_by,create_time,update_by,update_time,id,nickname,sex,short_id,level,mobile,email,channel,deleted,headimg,pwd,birthday FROM chats_userinfo WHERE email = ? AND pwd = ? \n",
        "thread" => "[http-nio-6002-exec-4]",
      "logLevel" => "DEBUG"
}

在Kibana里面debug grok语句

如果你需要自定义匹配模式或者是构造一般的Grok语句，那么语法debugger工具会对你很有用。

菜单：Management -> Dev Tools -> Grok Debugger

在这里插入图片描述

另一个调试Grok Pattern的地方
https://grokdebug.herokuapp.com/

在这里插入图片描述

个人觉得没有Kibana好看。

在Kibana里面管理应用系统日志

需要先创建Kibana的Index Patterns

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

在Discover里面看日志

在这里插入图片描述

创建图表

保存查询

在这里插入图片描述

创建一个dashboard

在这里插入图片描述

总结

当前扁平化的日志基本就只够给开发、运维人员分析问题用了，想通过日志发掘出更多有用的信息我们就需要将日志当作数据入库再通过其它工具分析，而入库就肯定要结构化了，所以这是日志结构的应用场景。

当然想让日志变得更有用也要开发人员将日志输出尽量简要，形成规划的日志输出，这样更利于日志的后续利用。

wangxudongx
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
ElasticStack学习之Elasticsearch入门.docx
10-16
ElasticStack学习之Elasticsearch入门
Kibana使用：其他的功能
учёба
01-17 122
一：logstash的配置文件验证（grok） logstash的配置文件如下： input { file { path => ["D:/ES/logstash-7.3.0/nginx.log"] start_position => "beginning" } } filter { grok { match => { "message" => "%{IP:clientip}\ \[%{HTTPDAT
ElasticSearch 7.3 实战：kibana之Grok Dubugger
qq_33240556的博客
03-28 517
在Elasticsearch 7.3环境中，Kibana 通常与 Logstash 配套使用，其中Kibana内置了Grok Debugger工具，这是一款非常实用的功能，可以帮助用户实时验证和调试Grok表达式，从而准确地解析日志文件或其他非结构化文本数据。
ELK日志实时分析平台--Elastic篇
CMLXZL的博客
08-20 346
ELK日志实时分析平台概述环境搭建ElasticSearch安装 概述 日志统一手机、管理、访问。查找问题方便安全，收集放到搜索引擎中。E：ElasticSearch：分布式搜索引擎存储库，NoSql，核心是倒排索引库，可以存TB级的数据。 ElasticSearch 基于Lucene的分布式全文搜索框架，可以对logs进行分布式存储，有点像hdfs。此为ELK的核心组件，日志的分析以及存储全部由es完成 LogStash 可以流放到各自的服务器上收集Log日志，通过内置的ElasticSearch插件解
oracle 日志 复制,Oracle GoldenGate(基于日志的结构化数据复制软件使用)
weixin_32487755的博客
04-07 331
一、ogg产品介绍GoldenGate软件是一种基于日志的结构化数据复制软件。GoldenGate 能够实现大量交易数据的实时捕捉、变换和投递，实现源数据库与目标数据库的数据同步，保持亚秒级的数据延迟。GoldenGate能够支持多种拓扑结构，包括一对一，一对多，多对一，层叠和双向复制等等。并支持高可用性解决方案，实时数据集成，事务性更改数据捕获，数据复制，转换以及运营和分析企业系统之间的验证。1...
日志系统——日志的结构化（4）
世界既不黑也不白，而是一道精致的灰。
12-14 593
日志的结构化
elasticsearch日志使用
sun007700的专栏
10-22 452
整合日志 https://www.jianshu.com/p/5e820188a267
Elasticsearch学习（七）-Elasticsearch结构化查询
显波的博客
07-30 377
Elasticsearch结构化查询 简单查询语句（lite）只能满足一些简单的需求，如果我们的条件复杂，需要使用（Request Body Serarch）API，参数以Json的格式传递。 一、结构化查询（Query DSL）： 1）空查询，等同于使用Math All POST /_search { "que...
ElasticStack学习之Elasticsearch进阶.zip
10-16
作为ElasticStack的重要组成部分，它与Logstash（数据收集）、Kibana（数据可视化）和Beats（轻量级数据发送代理）共同构建了一个完整的数据处理流水线。在深入学习Elasticsearch的进阶知识时，我们需要关注以下几个...
Elastic Stack.zip
06-23
**Elasticsearch** 是一个分布式、RESTful风格的搜索和分析引擎，它能够处理海量数据，支持全文搜索、结构化搜索、近实时搜索等多种功能。Elasticsearch基于Lucene构建，具备高可用性、可扩展性和灵活性。在ELK ...
ElasticStack(ELK)从入门到实践.pdf
06-11
这涉及到拉取ElasticStack镜像，制作容器，启动ElasticSearch、Logstash、Beats和Kibana的过程。通过实践，用户可以学习到如何将ELK Stack应用于具体的业务场景，解决实际问题。 以上内容构成了Elastic Stack的入门...
day14-ElasticStack学习之Elasticsearch进阶.zip
01-29
另外，使用Logstash进行日志收集和处理，也是ElasticStack的重要一环，它能将不同来源的日志数据整合到Elasticsearch，实现统一管理。 在性能调优方面，理解内存分配、JVM参数设置以及硬件资源的合理利用对于提升...
ElasticSearch实战：日志分析与搜索技巧解析
silenceallat的博客
03-28 1847
本文深入探讨了ElasticSearch在日志分析和搜索案例方面的应用，分享了实用的技巧和案例，包括索引日志数据、创建索引模板、使用Kibana进行数据分析等。同时，还介绍了ElasticSearch的进阶技巧，如查询优化、数据建模和使用监控和诊断工具。文章最后讨论了ElasticSearch的未来发展前景，包括更强大的机器学习功能、更好的云原生支持、增强的安全性和合规性以及优化的性能和扩展性。
Elastic Stack日志分析（二）- Elasticsearch入门及核心概念详解
程序园@大Null
02-17 3164
Elasticsearch简介，什么是全文搜索引擎，Elasticsearch核心概念 VS 数据库核心概念，Elasticsearch系统架构，Elasticsearch VS Solr，Elasticsearch应用案例，Elasticsearch在windows上安装，Elasticsearch核心概念详解，索引（Index），类型（Type），文档（Document），字段（Field），映射（Mapping），分片（Shards），副本（Replicas），分配（Allocation）
ElasticStack日志分析平台－ES 集群、Kibana与Kafka
weixin_61428407的博客
11-16 2317
ElasticStack日志分析平台－ES 集群、Kibana与Kafka
Elastic Stack日志分析（一）- ELK简介
程序园@大Null
02-16 1338
目录1. Elastic Stack简介2. 组件介绍 1. Elastic Stack简介   ELK 是包含但不限于Elasticsearch（简称 es）、Logstash、Kibana三个开源软件的组成的一个整体。这三个软件合成 ELK，是用于数据抽取（Logstash）、搜索分析（Elasticsearch）、数据展现（Kibana）的一整套解决方案，所以也称作 ELK stack。   ELK 是一个免费开源的日志分析架构技术栈总称，官网：https://www.elastic.co/cn。EL
微服务应用性能分析实战13 结构化日志：如何规范数千开发的应用日志？
fegus的博客
09-24 680
在无法远程调试和网络环境隔离等条件下，可以说是我们追查线上各种疑难杂症的。好的日志（或是日志埋点）衍生出的 APM 系统，可以让我们具备一种“洞察力”，即先于用户发现问题、定位问题、解决问题；而无规范的应用日志，则会让线上日志五花八门，严重降低线上第一手资料的质量。从“低头写日志代码”到“抬头写日志”，对于每个 RD 来说，这是一种势在必行的改变。这里“抬头写日志”，意思是写出的日志能更好地融入 APM 生态，并更符合日志规范。这样在定位问题时，才能根据日志做到有的放矢，笃定而行。
Elastic Stack日志分析（七）- Elasticsearch分片原理详解
程序园@大Null
02-23 556
Elasticsearch分片原理，倒排索引原理详解，Elasticsearch如何在保留不变性的前提下实现倒排索引的更新，Elasticsearch近实时搜索详解，Elasticsearch持久化变更事务日志translog详解，Elasticsearch段合并详解
Spark MLlib 特征工程(上)
最新发布
08-14 3194
特征选择的动机，在于提取与预测标的关联度更高的特征，从而精简模型尺寸、提升模型泛化能力。特征选择可以从两方面入手，业务出发的专家经验和基于数据的统计分析。归一化的目的，在于去掉不同特征之间量纲的影响，避免量纲不一致而导致的梯度下降震荡、模型收敛效率低下等问题。归一化的具体做法，是把不同特征都缩放到同一个值域。在这方面，Spark MLlib 提供了多种归一化方法供开发者选择。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值