1 架构
完整的ELKF架构如图1.1所示。本文讲解Filebeat日志采集与传输,即绿框部分。Filebeat采集日志,并将日志同步至Kafka指定Topic。
2 准备
2.1 启动Zookeeper
bin/zookeeper-server-start.sh config/zookeeper.properties
2.2 启动Kafka
bin/kafka-server-start.sh config/server.properties
2.3 创建topic
bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic tutorial
2.4 启动消费者
这个步骤不是必须的,启动消费者仅用于判断是否有数据成功写入Kafka,如写入成功,可直接在消费者控制台看到消费的消息。
bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic tutorial --from-beginning