背景
需要kafka将数据发送到logstash再发送给另外一个服务器的kafka,elasticsearch和kibana起到监控的作用,实现可视化。具体架构图如下:
这里分析logstash以后部分。
kafka
kafka的安装在上一篇博客中已经讲过了:https://blog.csdn.net/ali_lili/article/details/107338987
logstash
logstash相当于一个数据流,将kafka收到的数据进行封装,然后发送到其他地方,这里是发送到kafka,可以根据自己的实际情况来决定。
安装
上传压缩包,然后解压,参考命令
rz
tar -zxvf 压缩包名字
测试
bin/logstash -e 'input { stdin { } } output { stdout {} }'
然后在页面输入hello world ,同样可以在控制台看到自己发送的数据
遇到的难题
当我们发送数据的时候,logstash会将我们的数据封装成一个json格式,我们的数据会放到message字段里面。那么问题来了,我发送的是一个json数据,她这样子就会把我的数据封装成两层json,