上一篇,我记录了elasticsearch,logstash,kibana三个软件的安装和运行,并按照我之前的博文,使用supervisor进行进程管理,且我们elasticsearch是做了集群的,两个节点,都可以作为master和data节点。架构图如下:
架构图上,已完成后面的部分,接下来记录一下前半部分的实现,即filebeat和redis,和一起其他需要注意的地方。
1. redis
在这个架构中, redis用来做消息管道,用来缓存储峰值数据等。并不需要特别的设置,直接安装一个redis服务即可。因为知识用来一个管道,所以基本并不消耗redis的内存磁盘的存储资源,就像一个中转站,先放一下,马上就被取走。没有数据或数据量较小的时候哦。在redis中看不到任何数据,要像测试filebeat是否正常输出到redis,就要将logstash关掉,然后启动filebeat,观察redis中指定数据库中的数据,然后再开启logstash,会发现redis中的数据以可观的速度在开始减少,直到刷新不出数据。则验证了filebeat --> redis --> logstash 的管道的连通性。
redis的安装这也不赘述,请参考我之前的博文,redis的安装: