Docker搭建ELK+Kafka+FileBeat统一日志中心

请先确保内存足够，docker需要4g内存，其中es需要分配2g，不然无法启动

一、介绍与相关资料

1. 相关地址

elk镜像文档

2. 组件分工

filebeat：负责日志抓取与日志聚合
kafka: 削峰填谷
logstash：结构化日志信息，并把字段transform成对应的类型
elasticsearch：负责存储和查询日志信息
kibana：通过ui展示日志信息

二、Kafka安装部署

1. 下载镜像

docker pull zookeeper:latest
docker pull wurstmeister/kafka:latest

2.启动

docker run -d --name zookeeper --publish 2181:2181 --volume /etc/localtime:/etc/localtime zookeeper:latest

docker run -d --name kafka --publish 9092:9092 \
--link zookeeper \
--env KAFKA_ZOOKEEPER_CONNECT=zookeeper:2181 \
--env KAFKA_ADVERTISED_HOST_NAME=kafka所在宿主机的IP \
--env KAFKA_ADVERTISED_PORT=9092 \
--volume /etc/localtime:/etc/localtime \
wurstmeister/kafka:latest

3.测试

• 进入容器

docker exec -it kafka /bin/bash
# 进入bin目录
cd /opt/kafka_2.12-2.3.0/bin/

• 创建topic

./kafka-topics.sh --create --zookeeper zookeeper:2181 --replication-factor 1 --partitions 1 --topic elk_kafka 

• 运行生产者并指定topic

./kafka-console-producer.sh --broker-list localhost:9092 --topic elk_kafka 

• 新开窗口运行消费者，指定