衣舞晨风

勿忘初心

logstash @timestamp 内容替换

conf文件:input { stdin{} } filter { grok{ match => ["message","%{HTTPDATE:[@metadata][timestamp]}"] ...

2017-05-13 16:07:53

阅读数 5822

评论数 0

logstash http input output plugin

1、outputinput { stdin {} } output{ http { http_method => "post" url => "http://10.10...

2017-04-15 16:32:43

阅读数 2651

评论数 0

logstash kafka output 日志处理

今天在用logstash解析日志并传送给kafka的时候,发现kafka能收到数据但数据内容已经丢失,具体如下: 在logstash output中增加输出样式之后,问题解决kafka再次接受到的内容如下图所示: output{ kafka{ topic_id =&...

2017-04-12 18:38:42

阅读数 5727

评论数 0

logstash nginx error access 日志处理

input { file { type => "nginx-access" path => [ "/home/jiankunking/software/testdata/nginx/access.log" ] t...

2017-04-08 07:34:54

阅读数 3512

评论数 0

Logstash ruby 插件

本文logstash版本:5.0.1 1、把这个插件文件夹拷贝到下面的目录中logstash\vendor\bundle\jruby\1.9\gems2、修改logstash根目录下的Gemfile 添加如下的内容:gem "logstash-filter-testrubyplugi...

2017-04-05 19:58:29

阅读数 5140

评论数 0

Logstash 时间转换(YYYY-MM-dd HH:mm:ss转Unix时间)

适用场景 - 日志时间转Unix时间 示例日志:2017-03-21 00:00:00,291 INFO [DubboServerHandler-10.135.6.53:20885-thread-98] i.w.w.r.m.RequirementManager [RequirementMan...

2017-03-31 08:16:14

阅读数 2341

评论数 0

Logstash 常用正则(grok-patterns)

USERNAME [a-zA-Z0-9._-]+ USER %{USERNAME} INT (?:[+-]?(?:[0-9]+)) BASE10NUM (?<![0-9.+-])(?>[+-]?(?:(?:[0-9]+(?:\.[0-9]+)?)|(?:\.[0-9]+))) NUMB...

2017-03-28 20:03:55

阅读数 2475

评论数 0

Logstash 中type 和 tags

type 和 tags 是 logstash 事件中两个特殊的字段。通常来说我们会在输入区段中通过 type 来标记事件类型 —— 我们肯定是提前能知道这个事件属于什么类型的。而tags 则是在数据处理过程中,由具体的插件来添加或者删除的。最常见的用法是像下面这样:input { stdi...

2017-03-28 19:59:52

阅读数 2952

评论数 0

logstash-input-file 配置属性详解

Logstash 使用一个名叫 FileWatch 的 Ruby Gem 库来监听文件变化。这个库支持glob 展开文件路径,而且会记录一个叫 .sincedb 的数据库文件来跟踪被监听的日志文件的当前读取位置。所以,不要担心 logstash 会漏过你的数据。 sincedb 文件中记录了每个...

2017-03-28 19:56:27

阅读数 7331

评论数 0

Logstash 命令行参数

Logstash 提供了一个 shell 脚本叫 logstash 方便快速运行。它支持以下参数: -e 意即执行。我们在 “Hello World” 的时候已经用过这个参数了。事实上你可以不写任何具体配置,直接运行 bin/logstash -e ” 达到相同效果。这个参数的默认...

2017-03-28 19:40:35

阅读数 9149

评论数 0

提示
确定要删除当前文章?
取消 删除