本文介绍了如何使用Kafka、Logstash、Elasticsearch和Kibana构建数据流系统，实现数据的发送和监控。通过Logstash将Kafka接收到的数据转换并发送到另一个服务器的Kafka，同时Elasticsearch用于存储数据，Kibana提供可视化界面。在实施过程中遇到了Logstash双层JSON封装的问题，通过配置Logstash解决，最终成功搭建可视化监控系统。
背景
需要kafka将数据发送到logstash再发送给另外一个服务器的kafka，elasticsearch和kibana起到监控的作用，实现可视化。具体架构图如下：
这里分析logstash以后部分。
kafka
kafka的安装在上一篇博客中已经讲过了：https://blog.csdn.net/ali_lili/article/details/107338987
logstash
logstash相当于一个数据流，将kafka收到的数据进行封装，然后发送到其他地方，这里是发送到kafka，可以根据自己的实际情况来决定。
安装
上传压缩包，然后解压，参考命令
rz
tar -zxvf 压缩包名字
测试
bin/logstash -e 'input { stdin { } } output { stdout {} }'
然后在页面输入hello world ，同样可以在控制台看到自己发送的数据
遇到的难题
当我们发送数据的时候，logstash会将我们的数据封装成一个json格式，我们的数据会放到message字段里面。那么问题来了，我发送的是一个json数据，她这样子就会把我的数据封装成两层json，
最低0.47元/天 解锁文章
1万+
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
