logstash日志清洗:
公司目前给我日志清洗任务,给了我乱七八糟资料之后看的一脸懵,最后决定自己动手整理整理这样有头绪点,记录一下自己学习过程。其中涉及到一些ip内容的我都改为ip,其他保持一致,欢迎大家一起讨论,我也是刚开始学习这个,如有写的不对请多指教。
一、学习阶段
1、首先理解logstash中各个语法:
事件:Logstash 每读取一次数据的行为叫做事件。
1)**Input:**输入插件,允许一个特定的事件源可以读取到 Logstash 管道中。
支持多种数据源:stdin,file,tcp/udp,jdbc,redis,syslog,beat。本使用手册中介绍beat的配置
2)**Filter:**过滤插件,logstash中最常用,也是最复杂的插件,过滤器插件主要处理流经当前Logstash的事件信息,可以添加字段、移除字段、转换字段类型,通过正则表达式切分数据等,也可以根据条件判断来进行不同的数据处理方式。
date:日志解析
grok:正则匹配解析
dissect:分隔符解析
mutate:对字段做处理,比如重命名、删除、替换等
json:按照json解析字段内容到指定字段中
geoip:增加地理位置数据
ruby:利用ruby代码来动态修改logstash event
3)Output:输出插件,每个数据流经过input和filter后,最终要由output输出
常用输出插件有:stdout,Elasticsearch,Redis,File,TCP,本实用教程中介绍标准控制台输出stdout和Elasticsearch输出
2、Grok:将非结构化事件数据分析到字段中
Grok原理:使用的是正则表达式来对字段进行拆分。
match:匹配某个字段,根据正则表达式的规则拆分字符串
3、dissect:基于分隔符原理解析数据,解决grok解析时消耗过多cpu资源问题
使用分隔符将非结构化事件数据提取到字段中,解析过滤器不适用正则表达式,速度非常快,但是如果数据的结构因行而异,grok过滤更合适
应用:有一定局限性,主要使用与每行格式相似且分隔符明确简单的场景
语法:字段(field)和分隔符(delimiter)
4、mutate部分
convert :实现字段类型的转换,类型为hash,仅支持转换为integer、float、string和boolean
gsub:对字段内容进行替换,类型为数组ÿ