Logstash解析日志文件—包含json内容

由于业务需要,Logstash采集日志文件内容输出到Elasticsearch

1.日志格式样例:

2019/10/09 05:05:46 [INFO] [Log.go:67]   {"name":"SKT002","Type":"Face","UUID":"dasdasdasda"}

2.logstash.con配置文件

input {
	beats {
        port => "5044"
		codec=>plain{ charset=>"UTF-8" }
    }
	#stdin{}
}

filter{
	
	grok{
			match => { "message" => "(?<log_timestamp>\d{4}/\d{2}/\d{2}\s\d{2}:\d{2}:\d{2}) \[\s*(?<level>([\s\S]*))\] \[\s*(?<class>([\s\S]*))\] (.*?)\s*(?<Msg>(.*))" }
			overwrite => ["message"]
			remove_field => ["host","beat","offset"]
	}
	
	json{
        source => "Msg"
        #target => "jsoncontent"
    }

    mutate {
        remove_field => ["Msg"]
    }
}

output {
	stdout {  
		codec => rubydebug
	}
	
	if "_jsonparsefailure" not in [tags] {
		elasticsearch {
			hosts=>["172.20.32.241:9200"]
			index => "test-%{+YYYY.MM.dd}"
		}
	}
}

3.运行输出:

4. Head插件查询:

  • 2
    点赞
  • 5
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值