Logstash grok配置

logstash 配置

input {
    file {
        path => "/logs/*.log" #日志路径
        codec => multiline { 
             pattern => "^%{TIMESTAMP_ISO8601}"
             negate => true
             what => "previous"
        }
    }
}

filter {
    if [path] =~ "access" {
        mutate { replace => { type => "access" } }
        grok {
            match => { 
                "message" => "%{TIMESTAMP_ISO8601:timestamp} %{INT:cost} %{IP:remoteIp}:%{POSINT:remotePort} %{IP:localIp}:%{POSINT:localPort} %{PATH:uri} %{INT:httpCode}"
            }
            remove_field => ["message"]
        }
    } else if [path] =~ "server" {
        mutate { replace => { type => "server" } }
        grok {
            match => { 
                "message" => "%{TIMESTAMP_ISO8601:timestamp} \[%{LOGLEVEL:level}\] \[%{JAVACLASS:class}\] \[%{DATA:thread}\] - %{GREEDYDATA:content}"
            }
            remove_field => ["message"]
        }
    } else {
        mutate { replace => { type => "random_logs" } }
    }
    date {
        match => [ "timestamp", "yyyy-MM-dd HH:mm:ss.SSS" ]
    }
}

output {
    elasticsearch {
      hosts => ["http://192.168.201.37:9200"]
      index => "local_test"
    }
}

说明:
1 . multiline 处理一个事件由多行日志构成的情况,用时间戳标记新事件。
2 . =~ 正则匹配日志名。
3 . mutate 替换默认属性type的值
4 . remove_field 删除原日志
5 . date 用业务时间戳替换日志写入时间戳

日志举例

1. access-log

2017-04-13 09:23:52.725 6 127.0.0.1:53289 127.0.0.1:9092 /user/item/11 200

2. server-log

2017-04-13 11:13:33.766 [ERROR] [com.chengying.web.UserController] [http-nio-9092-exec-7] - item id 11
com.netflix.hystrix.exception.HystrixRuntimeException: ResourceQuery#queryResourceItem(String) failed and no fallback available.
    at com.netflix.hystrix.AbstractCommand$22.call(AbstractCommand.java:805)
    at com.netflix.hystrix.AbstractCommand$22.call(AbstractCommand.java:790)
    at com.netflix.hystrix.AbstractCommand$DeprecatedOnFallbackHoo
    at rx.observers.Subscribers$5.onError(Subscribers.java:230)
  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值