2021-11-01Logstash关于日志清洗记录学习及应用

logstash日志清洗：
公司目前给我日志清洗任务，给了我乱七八糟资料之后看的一脸懵，最后决定自己动手整理整理这样有头绪点，记录一下自己学习过程。其中涉及到一些ip内容的我都改为ip，其他保持一致，欢迎大家一起讨论，我也是刚开始学习这个，如有写的不对请多指教。
一、学习阶段
1、首先理解logstash中各个语法：
事件：Logstash 每读取一次数据的行为叫做事件。
1）**Input：**输入插件，允许一个特定的事件源可以读取到 Logstash 管道中。
支持多种数据源：stdin，file，tcp/udp，jdbc，redis，syslog，beat。本使用手册中介绍beat的配置
2）**Filter：**过滤插件，logstash中最常用，也是最复杂的插件，过滤器插件主要处理流经当前Logstash的事件信息，可以添加字段、移除字段、转换字段类型，通过正则表达式切分数据等，也可以根据条件判断来进行不同的数据处理方式。

date:日志解析
grok:正则匹配解析
dissect:分隔符解析
mutate:对字段做处理，比如重命名、删除、替换等
json:按照json解析字段内容到指定字段中
geoip:增加地理位置数据
ruby:利用ruby代码来动态修改logstash event

3）Output：输出插件，每个数据流经过input和filter后，最终要由output输出
常用输出插件有：stdout，Elasticsearch，Redis，File，TCP，本实用教程中介绍标准控制台输出stdout和Elasticsearch输出

2、Grok：将非结构化事件数据分析到字段中
Grok原理：使用的是正则表达式来对字段进行拆分。
match：匹配某个字段，根据正则表达式的规则拆分字符串

3、dissect:基于分隔符原理解析数据，解决grok解析时消耗过多cpu资源问题
使用分隔符将非结构化事件数据提取到字段中，解析过滤器不适用正则表达式，速度非常快，但是如果数据的结构因行而异，grok过滤更合适
应用：有一定局限性，主要使用与每行格式相似且分隔符明确简单的场景
语法：字段(field)和分隔符(delimiter)
4、mutate部分

convert :实现字段类型的转换，类型为hash，仅支持转换为integer、float、string和boolean
gsub：对字段内容进行替换，类型为数组ÿ