Thinkgamer博客

扫码关注【数据与算法联盟】公众号,拉你进数据算法大佬群

Logstash:从grok到5.X版本的dissect


这里写图片描述
打开微信扫一扫,关注微信公众号【数据与算法联盟】

转载请注明出处:http://blog.csdn.net/gamer_gyt
博主微博:http://weibo.com/234654758
Github:https://github.com/thinkgamer


写在前边的话

grok 作为 Logstash 最广为人知的插件,在性能和资源损耗方面同样也广为诟病。为了应对这个情况,同时也考虑到大多数时候,日志格式并没有那么复杂,Logstash 开发团队在 5.0 版新添加了另一个解析字段的插件:dissect。当日志格式有比较简明的分隔标志位,而且重复性较大的时候,我们可以使用 dissect 插件更快的完成解析工作。


安装和example

安装

使用之前首先检查自己的logstash plugin中是否包含,如果未包含,请先安装
检查所有插件

/your/logstash/path/bin/logstash-plugin list

安装logstash-filter-dissect

/your/logstash/path/bin/logstash-plugin install logstash-filter-dissect

example

filter {
    dissect {
        mapping => {
            "message" => "%{ts} %{+ts} %{+ts} %{src} %{} %{prog}[%{pid}]: %{msg}"
        }
        convert_datatype => {
            pid => "int"
        }
    }
}

语法解释:

我们看到上面使用了和 Grok 很类似的 %{} 语法来表示字段,这显然是基于习惯延续的考虑。不过示例中 %{+ts} 的加号就不一般了。dissect 除了字段外面的字符串定位功能以外,还通过几个特殊符号来处理字段提取的规则:
● %{+key} 这个 + 表示,前面已经捕获到一个 key 字段了,而这次捕获的内容,自动添补到之前 key 字段内容的后面。
● %{+key/2} 这个 /2 表示,在有多次捕获内容都填到 key 字段里的时候,拼接字符串的顺序谁前谁后。/2 表示排第 2 位。
● %{?string} 这个 ? 表示,这块只是一个占位,并不会实际生成捕获字段存到 Event 里面。
● %{?string} %{&string} 当同样捕获名称都是 string,但是一个 ? 一个 & 的时候,表示这是一个键值对。

比如对 http://rizhiyi.com/index.do?id=123 写这么一段配置:

http://%{domain}/%{?url}?%{?arg1}=%{&arg1}

则最终生成的 Event 内容是这样的:

{
  domain => "rizhiyi.com",
  id => "123"
}

该插件的一些配置

该插件支持下边这几种配置,所有的配置都包括在 dissect{ }中。

Setting Input Type Required Default Value
add_field hash No {}
add_tag array No []
convert_datatype hash No {}
enable_metric boolean No true
id string No
mapping hash No {}
periodic_flush boolean No false
remove_field array No []
remove_tag array No []
tag_on_failure arrray No [“_dissectfailure”]

1:add_field

如果此过滤器解析成功,便可以为该事件添加任何字段,字段名称可以是动态的,并使用%{field}包括事件部分
eg:

input{
  stdin{
    type => "dissect"

  }
}
filter {
  dissect {
    add_field => {
      "from_%{host}" => "Hello world, now is %{@timestamp}"
      "new_field" => "new_static_value"
    }
  }
}
output{
  stdout{
    codec => rubydebug
  }
  elasticsearch{
    hosts => ["http://localhost:9200"]
    index => "logstash-%{type}"
  }
}

执行

sudo /usr/share/logstash/bin/logstash -f test.conf

输入hello test
显示:

17:08:26.925 [Api Webserver] INFO  logstash.agent - Successfully started Logstash API endpoint {:port=>9600}
hello test
{
         "@timestamp" => 2017-03-28T09:08:29.814Z,
          "new_field" => "new_static_value",
           "@version" => "1",
               "host" => "thinkgamer",
            "message" => "hello test",
               "type" => "dissect",
    "from_thinkgamer" => "Hello world, now is 2017-03-28T09:08:29.814Z"
}

所以说这里的%{somefield} 就是已经存在的字段名称

2:add_tag

替换上边程序的filter为:

filter {
  dissect {
    add_tag => ["foo_%{host}","taggedy_tag" ]
  }
}

运行输入 hello test
显示:

17:12:42.307 [Api Webserver] INFO  logstash.agent - Successfully started Logstash API endpoint {:port=>9600}
hello test
{
    "@timestamp" => 2017-03-28T09:13:05.728Z,
      "@version" => "1",
          "host" => "thinkgamer",
       "message" => "hello test",
          "type" => "dissect",
          "tags" => [
        [0] "foo_thinkgamer",
        [1] "taggedy_tag"
    ]
}

3:convert_datatype

使用此设置,可以指定int和float数据类型转换,如果在elasticsearch中没有使用mapping的话,这将是很有用的

filter {
  dissect {
    convert_datatype{
      cpu => "float"
      code => "int"
    }
  }
}

4:enable_metric

默认情况下我们可以记录所有的指标,但是你可以通过该项配置来禁止或者启动是否记录这些指标

5:id

向插件实例添加唯一ID,此ID用于跟踪插件特定配置的信息。

6:mapping

field=>value 可以对当前解析的值进行以后的解析
eg:

filter {
  dissect {
    mapping => {
      "message" => "%{field1} %{field2} %{description}"
      "description" => "%{field3} %{field4} %{field5}"
    }
  }
}

7:periodic_flush

定期调用过滤器刷新方法,可选

8:remove_field

eg:

filter {
  dissect {
    add_field => {
      "from_%{host}" => "Hello world, now is %{@timestamp}"
      "new_field" => "new_static_value"
    }
    remove_field => ["from_%{host}"]
  }
}

输入hello test
显示:

18:04:09.028 [Api Webserver] INFO  logstash.agent - Successfully started Logstash API endpoint {:port=>9600}
hello test
{
    "@timestamp" => 2017-03-28T10:04:36.910Z,
     "new_field" => "new_static_value",
      "@version" => "1",
          "host" => "thinkgamer",
       "message" => "hello test",
          "type" => "dissect"
}

9:remove_tag

删除标签,可以是动态的
eg:

filter {
  dissect {
    add_tag => ["foo_%{host}","taggedy_tag" ]
    remove_tag => ["foo_%{host}"]
  }
}

输入hello test
显示:

18:06:10.097 [Api Webserver] INFO  logstash.agent - Successfully started Logstash API endpoint {:port=>9600}
hello test
{
    "@timestamp" => 2017-03-28T10:06:35.259Z,
      "@version" => "1",
          "host" => "thinkgamer",
       "message" => "hello test",
          "type" => "dissect",
          "tags" => [
        [0] "taggedy_tag"
    ]
}

10:tag_on_failure

当解析失败时,将值附加到标签字段


Over !

阅读更多
版权声明:用心写好你的每一篇文章,我的个人博客已上线:http://thinkgamer.cn https://blog.csdn.net/Gamer_gyt/article/details/67816090
个人分类: ELK stack入门到精通
上一篇一柱香,一页文带你走进Logstash的世界
下一篇__str__ returned non-string (type int)
想对作者说点什么? 我来说一句

没有更多推荐了,返回首页

关闭
关闭