消息队列
haozlee
多年linux开发经验,熟悉c++,python。个人主页:https://leehao.me
展开
-
Filebeat 日志输出至 Kafka
Filebeat 是一款轻量级的日志采集器,可以用来收集日志,并将日志汇总起来处理。Filebeat 的工具原理如下图所示:图片来源:https://www.elastic.co/guide/en/beats/filebeat/current/filebeat-overview.html通过 filebeat 配置文件 filebeat.yml 指定需要收集的日志,并指定输出至 elasticsearch,logstash,kafka,redis 等。本文讲述如何配置 filebeat,将日志输原创 2020-08-03 18:19:11 · 10596 阅读 · 0 评论 -
Kafka 生产者和消费者学习笔记
最近搭建 kafka 集群环境以便于收集应用程序日志并进行个性化的处理,因此学习了 kafka 生产者和消费者 python 程序的实现。这篇文章当是个 kafka 的学习笔记。一、搭建 kafka 集群为方便测试,我们在 MacOS 单机上搭建具有三个 kafka 节点的集群。如果在生产上部署 kafka ,请在不同的物理机上部署 kafka 集群。1. 下载 kafka 镜像我们使用 wurstmeister/kafka 镜像来部署 kafka,由于 kafka 依赖于 zookeeper ,因原创 2020-07-04 21:07:20 · 878 阅读 · 0 评论