Logstash过滤器插件filter

最新推荐文章于 2024-05-16 05:12:50 发布
最新推荐文章于 2024-05-16 05:12:50 发布
阅读量503 收藏
点赞数
分类专栏： ElasticSearch 文章标签： 过滤器
原文链接：https://www.cnblogs.com/FengGeBlog/p/10305318.html
版权
一、grok正则捕获

grok是一个十分强大的Logstash filter插件，它可以通过正则解析任意文本，将非结构化日志数据弄成结构化和方便查询的结构。它是目前Logstash中解析非结构化日志数据最好的方式

**grok的语法规则：**  ```%{语法：语义}```
“语法”指的是匹配的模式。例如使用NUMBER模式可以匹配出数字，IP模式则会匹配出127.0.0.1这样的IP地址
**举例：**
原始数据：172.16.213.132 [07/Feb/2018:16:24:19 +0800] "GET /HTTP/1.1" 403 5039
1）过滤IP

input {
        stdin {
   }
}
filter{
     grok{
            match => {"message" => "%{IPV4:ip}"}
   }
}
output {
         stdout {
     }
}

运行结果：

[root@:172.31.22.29 /etc/logstash/conf.d]#/usr/share/logstash/bin/logstash -f /etc/logstash/conf.d/l2.conf
Sending Logstash logs to /var/log/logstash which is now configured via log4j2.properties172.16.213.132 [07/Feb/2018:16:24:19 +0800]"GET /HTTP/1.1" 403 5039　　　　　　#手动输入此行信息
{
       "message" => "172.16.213.132 [07/Feb/2018:16:24:19 +0800]\"GET /HTTP/1.1\" 403 5039",
            "ip" => "172.16.213.132",
      "@version" => "1",
          "host" => "ip-172-31-22-29.ec2.internal",
    "@timestamp" => 2019-01-22T09:48:15.354Z
}

2）过滤时间戳

filter{
        grok{
           match => {"message" => "%{IPV4:ip}\ \[%{HTTPDATE:timestamp}\]"}
    }
}

运行结果：

[root@:172.31.22.29 /etc/logstash/conf.d]#/usr/share/logstash/bin/logstash -f /etc/logstash/conf.d/l2.conf
Sending Logstash logs to /var/log/logstash which is now configured via log4j2.properties172.16.213.132 [07/Feb/2018:16:24:19 +0800]"GET /HTTP/1.1" 403 5039　　　　手动输入此行信息
{
      "@version" => "1",
     "timestamp" => "07/Feb/2018:16:24:19 +0800",
    "@timestamp" => 2019-01-22T10:16:14.205Z,
       "message" => "172.16.213.132 [07/Feb/2018:16:24:19 +0800]\"GET /HTTP/1.1\" 403 5039",
            "ip" => "172.16.213.132",
          "host" => "ip-172-31-22-29.ec2.internal"
}

可以看到我们已经过滤成功了，在配置文件中grok其实是使用正则表达式来进行过滤的。我们做个小实验，比如我现在在例子中的数据ip后面添加两个“-”。如图所示：

172.16.213.132 - - [07/Feb/2018:16:24:19 +0800] “GET /HTTP/1.1” 403 5039

那么此时在配置文件中我就需要这样子来写：

filter{
     grok{
         match => {"message" => "%{IPV4:ip}\ -\ -\ \[%{HTTPDATE:timestamp}\]"}
     }
}

那么此时在match行我就要匹配两个“-”，否则grok就不能正确匹配数据，从而不能解析数据

运行结果：

[root@:172.31.22.29 /etc/logstash/conf.d]#/usr/share/logstash/bin/logstash -f /etc/logstash/conf.d/l2.conf
Sending Logstash logs to /var/log/logstash which is now configured via log4j2.properties172.16.213.132 - - [07/Feb/2018:16:24:19 +0800] "GET /HTTP/1.1" 403 5039　　　　　　#手动输入此行内容，然后按下enter键。
{
    "@timestamp" => 2019-01-22T10:25:46.687Z,
            "ip" => "172.16.213.132",
       "message" => "172.16.213.132 - - [07/Feb/2018:16:24:19 +0800] \"GET /HTTP/1.1\" 403 5039",
     "timestamp" => "07/Feb/2018:16:24:19 +0800",
      "@version" => "1",
          "host" => "ip-172-31-22-29.ec2.internal"
}

这时候我们就得到了信息，我这里是匹配IP和时间，当然你也可以直接匹配时间即可：

filter{
        grok{
            match => {"message" => "\ -\ -\ \[%{HTTPDATE:timestamp}\]"}
     }
}

这个时候我们更加能理解grok使用正则匹配数据了
注意：正则中，匹配空格和中括号要加上转义符

3）过滤出报文头信息
首先来写匹配的正则模式

filter{
        grok{
            match => {"message" => "\ %{QS:referrer}\ "}
     }
}

运行结果：

[root@:172.31.22.29 /etc/logstash/conf.d]#/usr/share/logstash/bin/logstash -f /etc/logstash/conf.d/l2.conf
Sending Logstash logs to /var/log/logstash which is now configured via log4j2.properties172.16.213.132 - - [07/Feb/2018:16:24:19 +0800] "GET /HTTP/1.1" 403 5039
{
    "@timestamp" => 2019-01-22T10:47:37.127Z,
       "message" => "172.16.213.132 - - [07/Feb/2018:16:24:19 +0800] \"GET /HTTP/1.1\" 403 5039",
      "@version" => "1",
          "host" => "ip-172-31-22-29.ec2.internal",
      "referrer" => "\"GET /HTTP/1.1\""
}
二、date插件

在上面我们有个例子是讲解timestamp字段，表示取出日志中的时间。但是在显示的时候除了显示你指定的timestamp外，还有一行是@timestamp信息，这两个时间是不一样的，@timestamp表示系统当前时间。两个时间并不是一回事，在ELK的日志处理系统中，@timestamp字段会被elasticsearch用到，用来标注日志的生产时间，如此一来，日志生成时间就会发生混乱，要解决这个问题，需要用到另一个插件，即date插件，这个时间插件用来转换日志记录中的时间字符串，变成Logstash::Timestamp对象，然后转存到@timestamp字段里面

接下来我们在配置文件中配置一下：

filter{
      grok{
           match => {"message" => "\ -\ -\ \[%{HTTPDATE:timestamp}\]"}
      }
      date{
           match => ["timestamp","dd/MMM/yyyy:HH:mm:ss Z"]
    }
}

注意：时区偏移量需要用一个字母Z来转换。还有这里的“dd/MMM/yyyy”，你发现中间是三个大写的M，没错，这里确实是三个大写的M，我尝试只写两个M的话，转换失败

运行结果：

[root@:172.31.22.29 /etc/logstash/conf.d]#/usr/share/logstash/bin/logstash -f /etc/logstash/conf.d/l2.conf
Sending Logstash logs to /var/log/logstash which is now configured via log4j2.properties172.16.213.132 - - [07/Feb/2018:16:24:19 +0800] "GET /HTTP/1.1" 403 5039        #手动输入此行信息
{
          "host" => "ip-172-31-22-29.ec2.internal",
     "timestamp" => "07/Feb/2018:16:24:19 +0800",
    "@timestamp" => 2018-02-07T08:24:19.000Z,
       "message" => "172.16.213.132 - - [07/Feb/2018:16:24:19 +0800] \"GET /HTTP/1.1\" 403 5039",
      "@version" => "1"
}

会发现@timestamp时间转换成功，还有一点就是在时间少8个小时

上面有几个例子已经讲到了date的用法。date插件对于排序事件和回填旧数据尤其重要，它可以用来转换日志记录中的时间字段，变成Logstash：：timestamp对象，然后转存到@timestamp字段里面。

为什么要使用这个插件呢？

  • 一方面由于Logstash会给收集到的每条日志自动打上时间戳（即@timestamp），但是这个时间戳记录的是input接收数据的时间，而不是日志生成的时间（因为日志生成时间与input接收的时间肯定不同），这样就可能导致搜索数据时产生混乱
  • 另一方面，在上面那段rubydebug编码格式的输出中，@timestamp字段虽然已经获取了timestamp字段的时间，但是仍然比北京时间晚了8个小时，这是因为在Elasticsearch内部，对时间类型字段都是统一采用UTC时间，而日志统一采用UTC时间存储，是国际安全、运维界的一个共识。其实这并不影响什么，因为ELK已经给出了解决方案，那就是在Kibana平台上，程序会自动读取浏览器的当前时区，然后在web页面自动将UTC时间转换为当前时区的时间

如果你要解析你的时间，你要使用字符来代替，用于解析日期和时间文本的语法使用字母来指示时间（年、月、日、时、分等）的类型。以及重复的字母来表示该值的形式。在上面看到的"dd/MMM/yyy:HH:mm:ss Z"，他就是使用这种形式，我们列出字符的含义：
在这里插入图片描述
那我们是依据什么写出“dd/MMM/yyy:HH:mm:ss Z”这样子的形式的呢？比如上面的试验数据是：

172.16.213.132 - - [07/Feb/2018:16:24:19 +0800] “GET /HTTP/1.1” 403 5039
现在我们想转换时间，那就要写出"dd/MMM/yyy:HH:mm:ss Z"，你发现中间有三个M，你要是写出两个就不行了，因为我们查表发现两个大写的M表示两位数字的月份，可是我们要解析的文本中，月份则是使用简写的英文，所以只能去找三个M。还有最后为什么要加上个大写字母Z，因为要解析的文本中含有“+0800”时区偏移，因此我们要加上去，否则filter就不能正确解析文本数据，从而转换时间戳失败

三、remove_field的用法

remove_field的用法也是很常见的，其作用是去重，在前面的例子中你也看到了，不管是我们要输出什么样子的信息，都是有两份数据，即message里面是一份，HTTPDATE或者IP里面也有一份，这样子就造成了重复，过滤的目的就是筛选出有用的信息，重复的不要，因此我们看看如何去重呢？

1）输出IP为例

filter{
        grok{
              match => {"message" => "%{IP:ip_address}"}
              remove_field => ["message"]
        } 
}

运行结果：

[root@:172.31.22.29 /etc/logstash/conf.d]#/usr/share/logstash/bin/logstash -f /etc/logstash/conf.d/l5.conf
Sending Logstash logs to /var/log/logstash which is now configured via log4j2.properties172.16.213.132 - - [07/Feb/2018:16:24:19 +0800] "GET /HTTP/1.1" 403 5039　　　　　　#手动输入此行内容并按enter键
{
    "ip_address" => "172.16.213.132",
          "host" => "ip-172-31-22-29.ec2.internal",
      "@version" => "1",
    "@timestamp" => 2019-01-22T12:16:58.918Z
}

这时候你会发现没有之前显示的那个message的那一行信息了。因为我们使用remove_field把他移除了

四、数据修改mutate插件

mutate插件是logstash另一个非常重要的插件，它提供了丰富的基础类型数据处理能力，包括重命名、删除、替换、修改日志事件中的字段。我们这里举几个常用的mutate插件：字段类型转换功能covert、正则表达式替换字段功能gsub、分隔符分隔字符串为数值功能split、重命名字段功能rename、删除字段功能remove_field

1）字段类型转换convert
先修改配置文件

filter{
        grok{
              match => {"message" => "%{IPV4:ip}"}
              remove_field => ["message"]
        }
        mutate{
              convert => ["ip","string"]
        }
}

或者这样子写也行，写法区别较小：

filter{
        grok{
             match => {"message" => "%{IPV4:ip}"}
             remove_field => ["message"]
        }
        mutate{
              convert => {
                   "ip" => "string"
             }
      }
}

运行结果：

[root@:172.31.22.29 /etc/logstash/conf.d]#/usr/share/logstash/bin/logstash -f /etc/logstash/conf.d/l6.conf
Sending Logstash logs to /var/log/logstash which is now configured via log4j2.properties172.16.213.132 - - [07/Feb/2018:16:24:9 +0800] "GET /HTTP/1.1" 403 5039
{
    "@timestamp" => 2019-01-23T04:13:55.261Z,
            "ip" => "172.16.213.132",
          "host" => "ip-172-31-22-29.ec2.internal",
      "@version" => "1"
}

在这里的ip行中，效果可能不太明显，但是确实是已经转化成string模式了

2）正则表达式替换匹配字段
gsub可以通过正则表达式替换字段中匹配到的值，但是这本身只对字符串字段有效

首先修改配置文件

filter{
        grok{
             match => {"message" => "%{QS:referrer}"}
             remove_field => ["message"]
        }
        mutate{
             gsub => ["referrer","/","-"]
      }
}

运行结果：

172.16.213.132 - - [07/Feb/2018:16:24:9 +0800] "GET /HTTP/1.1" 403 5039
{
          "host" => "ip-172-31-22-29.ec2.internal",
    "@timestamp" => 2019-01-23T05:51:30.786Z,
      "@version" => "1",
      "referrer" => "\"GET -HTTP-1.1\""
}

很不错，确实对QS的部分的分隔符换做横杠了

3）分隔符分隔字符串为数组
split可以通过指定的分隔符分隔字段中的字符串为数组

首先修改配置文件

filter{
        mutate{
                split => ["message","-"]
                add_field => ["A is lower case :","%{[message][0]}"]
        }
}

这里的意思是对一个字段按照“-”进行分隔为数组

运行结果：

a-b-c-d-e-f-g　　　　　　　　　　　　#手动输入此行内容，并按下enter键。
{
    "A is lower case :" => "a",
              "message" => [
        [0] "a",
        [1] "b",
        [2] "c",
        [3] "d",
        [4] "e",
        [5] "f",
        [6] "g"
    ],
           "host" => "ip-172-31-22-29.ec2.internal",
           "@version" => "1",
           "@timestamp" => 2019-01-23T06:07:18.062Z
}

4）重命名字段
rename可以实现重命名某个字段的功能

filter{
        grok{
              match => {"message" => "%{IPV4:ip}"}
              remove_field => ["message"]
        }
        mutate{
                convert => {
                    "ip" => "string"
                }
                rename => {
                    "ip"=>"IP"
                }
        }
}

rename字段使用大括号{}括起来，其实我们也可以使用中括号达到同样的目的

mutate{
        convert => {
              "ip" => "string"
        }
        rename => ["ip","IP"]
 }

运行结果：

172.16.213.132 - - [07/Feb/2018:16:24:9 +0800] "GET /HTTP/1.1" 403 5039　　　　　　#手动输入此内容
{
      "@version" => "1",
      "@timestamp" => 2019-01-23T06:20:21.423Z,
      "host" => "ip-172-31-22-29.ec2.internal",
      "IP" => "172.16.213.132"
}

5）删除字段，这个不多说，我们上面已经有例子了
6）添加字段add_field
添加字段多用于split分隔中

filter {
  mutate {
    split => ["message", "|"]
      add_field => {
        "timestamp" => "%{[message][0]}"　　　　
        }　
    }
}

添加字段后，该字段会与@timestamp一样同等格式显示出来

小小平不平凡
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Logstash filter 的使用
theminer的博客
01-10 970
概述 logstash之所以强大和流行，与其丰富的过滤器插件是分不开的 过滤器提供的并不单单是过滤的功能，还可以对进入过滤器的原始数据进行复杂的逻辑处理，甚至添加独特的新事件到后续流程中 强大的文本解析工具--Grok grok是一个十分强大的logstashfilter插件，他可以解析任何格式的文本，他是目前logstash中解析非结构化日志数据最好的方式 基本用法 Grok的语法规则是： %{语法 : 语义} “语法”指的就是匹配的模式，例如使用N...
Logstash详解之——filter模块
weixin_33895695的博客
08-01 1322
Logstash三个组件的第二个组件，也是真个Logstash工具中最复杂，最蛋疼的一个组件，当然，也是最有作用的一个组件。 1、grok插件 grok插件有非常强大的功能，他能匹配一切数据，但是他的性能和对资源的损耗同样让人诟病。 filter{ grok{ #只说一个match属性，他的作用是从message 字段中...
Logstash filter 的插件使用
JinLu_的博客
06-18 2007
logstash 组件 filter使用 提供的插件 过滤。
logstash过滤器插件filter详解及实例_logstash filter 时间戳
最新发布
2401_84715926的博客
05-16 987
这个时候我们更加能理解grok使用正则匹配数据了。需要注意的是：正则中，匹配空格和中括号要加上转义符。
Logstash 配置文件中各种组件详解
Gabriel的博客
06-09 1354
Logstash 配置文件中各种组件及参数详解及示例
Logstash（三）filter插件简介
LoveSummer
03-05 1395
Filter Plugin Filter是Logstash功能强大的主要原因,它可以对Logstash Event进行丰富的处理,比如解析数据、删除字段、类型转换等等,常见的有如下几个: date日期解析 grok正则匹配解析 dissect分割符解析 mutate对字段作处理,比如重命名、删除、替换等 json按照json解析字段内容到指定字段中 geoip增加地理位置数据 ruby利用r...
SQL中的add file语句
最有趣的编程
02-28 4201
logstash-filter-java:通过实现Java接口编写logstash过滤器
05-20
Logstash的过滤器插件遵循特定的生命周期，主要包括初始化、事件处理和关闭三个阶段。在Java中，这些阶段对应于接口`org.logstash.Event`和`org.logstash.config.IRPlugin`的实现。 1. **IRPlugin接口**: 这是所有...
logstash-filter-varnishlog：一个logstash过滤器插件，读取按ID分组的varnishlog
02-10
Logstash插件 这是的插件。 它是完全免费和完全开源的。 该许可证是Apache 2.0，这意味着您可以随意使用它，但是可以以任何方式使用。 文献资料 Logstash提供了自动为该插件生成文档的基础结构。 我们使用asciidoc...
logstash-filter-jdbc_streaming:可以使用数据库中的数据丰富事件的 Logstash 过滤器
05-30
JDBC 流过滤器插件已移动 这个 JDBC Streaming Filter Plugin 现在是的一部分； 在可能的情况下，该项目仍对该项目的修复向后移植到 5.x 系列保持开放，但应首先在上提交问题。 文档 Logstash 提供了基础设施来自动...
logstash-filter-example:示例过滤器插件。 这应该有助于引导您编写自己的过滤器插件！
05-30
Logstash插件 这是的插件。 它是完全免费和完全开源的。 许可证是 Apache 2.0，这意味着您可以随意以任何方式使用它。 文档 Logstash 提供了基础结构来自动为此插件构建文档。 我们提供了一个模板文件 index....
logstash_filter_f5:适用于F5 APD，DCC，SSHD和TMM系统日志的Logstash过滤器
05-01
F5 Logstash过滤器 主意 将F5日志发送到Elastic Stack，并应用过滤器以启用高级分析。 地位 在生产中。 如何 请检查以获取有关如何使用此插件的更多信息。 帮助 如果您发现错误或有功能请求，请在GitHub上发布问题。...
logstash 删除字段
热门推荐
有道无术，术尚可求，有术无道，止于术。
10-27 1万+
问题 filebeat采集日志信息后，logstash打印信息，这个过程中，filebeat将自身的客户端信息也传送给了logstash，如果logstash不对这些字段进行过滤，导致es创建索引时，产生大量没有必要的字段。 解决方案： 在配置文件中进行过滤，删除没有必要的字段。 input { beats { port => 5044 } } fi...
Logstash~filter通用配置项使用教程（附带实例）
feizuiku0116的博客
04-26 3141
一、add_field 功能：添加字段 介绍：在filter过滤成功之后，可以添加字段，可以添加多个字段，必须写在filter组件内部，可以动态添加字段 filter{ grok{ match => { "message" => "%{NUMBER:number} %{WORD:name}" } add_field => { "f1" => "field1" "f2" =
如何在logstash的配置文件里边删除csv中columns中多余的field字段
sxf_123456的博客
07-21 6396
当采集数据时生成的csv的文件，但是发现采集表数据有些在es中不需要，这时，可以在filter插件中的csv中，使用remove_field => [ "filed1","filed2" ]来删除多余字段input {    file {        path => [                        "/test/111.csv"                ]  ...
ElasticSearch7.3学习(三十二)----logstash三大插件（input、filter、output）及其综合示例
www_xuhss_com的博客
06-26 1632
logstash支持很多数据源，比如说等等图片上面只是一少部分。详情见网址：https://www.elastic.co/guide/en/logstash/current/input-plugins.html这种控制台输入前面已经介绍过了，这里就不解析了。链接：ElasticSearch7.3学习(三十一)----Logstash基础学习 1.3 读取文件(File) 比如说我存在一个文件，文件内容如下：注意：文件光标要指向下一行，不然最后一行可能读取不到我想把文件内容打印至控制台显示。可在里面添加如下内
logstash简介，下载和安装
sweet__queen的博客
08-26 366
1.简介： 集中、转换和存储数据 Logstash 是免费且开放的服务器端数据处理管道，能够从多个来源采集数据，转换数据，然后将数据发送到您最喜欢的“存储库”中。 2.处理流程 input---> fileter ---> output input：-（可从file，redis，beats，kafka等拿数据） filter：-（包含Grok,Date,Mutate,Drop等步骤） output：-(stdout,标准输出) 3.input、output配置 eg： .

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值