项目简介
公司业务需要将应用的日志(json格式)写入到es中,使用kafka做缓冲,logstash进行字段过滤
自己造的json格式:
{"date":"2019-07-31 10:09:16.674","level":"INFO7","userCode":"3434343","clientIp":"192.168.200.57","clientId":"12","hostName":"192.168.210.57","requestURL":"http://","logger":"Sample","msg":{"我是":"address","birthday3":"天气真好","birthda1":"2019-02-03","birthda3":"2019-03-05","birthda2":"2019-12-05","content":"<s>sdfjdki</s><sdfd>
</sdfd>
dfdfdfd"}}
遇到问题
json有换行,进入到kafka中时显式的是\n,实际日志中是看不到\n的,在logstash的filter中gsub 使用的\n 、\x0a等多种方式都没有成功,最后无意中发现一种方式可以解决:
解决方法
logstash采用的是6.8.0