Docker系列(六) docker环境下安装flume 实现logs+flume+kafka日志采集镜像安装

最新推荐文章于 2024-07-17 16:44:01 发布

海鸥~

最新推荐文章于 2024-07-17 16:44:01 发布

阅读量6.8k

点赞数 4

此文章为海鸥女生原著，转载请留言，并声明出处。

本文链接：https://blog.csdn.net/Charlie_jun/article/details/107745584

版权

本文详细介绍了如何在Docker环境下安装Flume 2.0.0，并结合Kafka实现日志采集。首先查看并拉取Flume镜像，创建包含conf和logs的文件夹，然后启动Flume容器并检查日志无误。接着配置flume+kafka的日志采集，通过容器内Flume agent启动，并在Kafka消费者端验证日志采集成功。

摘要由CSDN通过智能技术生成

以下均为生产环境下亲测使用如有出入请私信梁工

一、安装flume

1、docker中查看镜像
docker search flume
在这里插入图片描述
2、pull 新版稳定 flume2.0.0
docker pull probablyfine/flume:2.0.0
3、创建一个flume文件夹里面包含 conf logs

conf : 文件夹下放我们写的配置文件 sources channel sink
logs : 对容器内的logs在本地做映射

以下为从log文件中实时监控进行采集到kafka中

$   vi   los-flume-kakfa.conf 

# Name the components on this agent
app.sources = r1
app.channels = c1

# Describe/configure the source
app.sources.r1.type = exec
app.sources.r1.command = tail -F  /tmp/test_logs/app.log
app.sources.r1.channels =