flume纯配置文件初步入门

最新推荐文章于 2024-04-02 23:15:55 发布

置顶

逸.

最新推荐文章于 2024-04-02 23:15:55 发布

阅读量380

点赞数 2

文章标签： flume 大数据数据采集数据初步过滤

本文链接：https://blog.csdn.net/weixin_43937130/article/details/102782720

版权

本文是关于Flume数据采集工具的初学者指南，重点介绍配置文件的设置，包括source、sink和channel的配置，以及如何解决配置文件中汉字乱码问题。通过学习，你可以了解如何在Flume中使用不同的source类型和拦截器，以及如何调整环境变量修复字符编码问题。

摘要由CSDN通过智能技术生成

此博客仅针对flume当中conf配置文件

首先我们来了解一下flume

首先我们来了解一下flume

flume可以说是大数据当中常见的一个数据采集工具，在本博客当中，你将可以学到flume当中conf文件的配置，非常简单也非常好用。
启动flume的命令：
在flume当中bin目录下输入./flume-ng agent --conf conf --conf-file /conf文件的路径 --name conf文件内agent的名称
因为我们使用的flume当中有用到kafka，kafka主要有zookeeper作为基础，所以配置组件绝对不可出错

source的配置

对于source的配置有很多种，具体参考flume官方，在这里我们将说明几种类型

exec类型的source.

agent_name.sources=source_name
agent_name.sources.source_name.type=exec
agent_name.sources.source_name.shell=/bin/bash -c ##这个命令是写接下来命令执行的环境变量
agent_name.sources.source_name.command=tail -n +0 -F /路径  ##这则命令当中tail是linux下命令，主要作用是监听文件，-n是从文件第几行开始，+0是正着数下标0，-F是实时更新，路径就是你所要监听的文件是什么
agent_name.sources.source_name.restart=true
agent_name.sources.sour