filebeat+kafka+logstash部署案例

组件介绍:

Filebeat负责从web服务器上实时抓取数据,当log文件发生变化时,将文件内容吐给kafka。

Kafka是消息队列,主要作用是在filebeat和logstash之间做缓存,避免因写入logstash的数据量过大,导致数据丢失。

Zookeeper是kafka的分发系统,他负责维护整个kafka集群的负载均衡,在部署的时候,每个kafka节点上都要单独安装zookeeper,同时要保证zookeeper之间能够互相通信(2181端口)。

Logstash是日志处理器,也是整个elk系统的核心。负责来自kafka的日志处理,然后把处理过的日志吐给elasticsearch。需要注意的是,经logstash处理过的日志都是json格式的。

案例:用filebeat监控日志文件(test.log),并将日志数据发送到kafka中,logstash从kafka中读取数据

1.启动zookeeper和kafka :以守护进程方式启动

./bin/zookeeper-server-start.sh -daemon config/zookeeper.properties

./bin/kafka-server-start.sh -daemon config/server.properties

2.配置logstash
vim test.conf
在这里插入图片描述

测试配置文件是否正确:
bin/logstash -f test.conf -t
出现“configure ok!”的提示,即配置成功,如果没有,则去查看日志,看下是哪里出的问题。没有问题,就可以启动logstash。

3.启动logstash
bin/logstash -f test.conf

4.配置filebeat
vim filebeat.yml
在这里插入图片描述
output : 默认的topic为beats,也可以指定
在这里插入图片描述
注意每一行的空格,空格多少可能影响启动

5.启动filebeat
./filebeat -e -c filebeat.yml

6.测试
在test.log中写入新的数据,观察logstash控制台是否有数据输出
在test.log目录下,执行:
echo “99999999999” >> test.log
logstash控制台如下:
在这里插入图片描述

  • 0
    点赞
  • 7
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Jepson2017

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值