Fulme的几种监听配置信息

最新推荐文章于 2022-02-14 22:18:38 发布

Mr_mz

最新推荐文章于 2022-02-14 22:18:38 发布

阅读量649

点赞数 1

文章标签： flume

本文链接：https://blog.csdn.net/jc806116/article/details/78862333

版权

本文介绍了Apache Flume的几种监听配置，包括监听网络数据、文件新增内容和目录中新增文件的配置文件示例。通过netcat、exec和spooldir等source类型，数据被收集并输出到控制台或传输到HDFS。同时讨论了配置参数如channel容量和transactionCapacity对性能的影响，并给出了启动和使用示例。

摘要由CSDN通过智能技术生成

Flume是一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统。支持在日志系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方(比如文本、HDFS、Hbase等)的能力。

针对不同的source 需要配置不同的配置文件，更为详细的配置内容在flume官网

本文章只举例几个常用的监听配置文件。

-------------------------------------------------------------------------------------------------------

    监听网络中的数据，将监听到底的数据输出值控制台

       # flume-nc.conf: 用于监听网络数据的flume agent实例的配置文件
       ############################################
       # 对各个组件的描述说明
       # 其中a1为agent的名字
       # r1是a1的source的代号名字
       # c1是a1的channel的代号名字
       # k1是a1的sink的代号名字
       ############################################
       a1.sources = r1
       a1.sinks = k1
       a1.channels = c1

       # 用于描述source的，类型是netcat网络
       a1.sources.r1.type = netcat
       # source监听的网络ip地址和端口号
       a1.sources.r1.bind = master01
       a1.sources.r1.port = 44444

       # 用于描述sink，类型是日志格式
       a1.sinks.k1.type = logger

       # 用于描述channel，在内存中做数据的临时的存储
       a1.channels.c1.type = memory
       # 该内存中最大的存储容量，1000个events事件
       a1.channels.c1.capacity = 1000
       # 能够同时对100个events事件监管事务
       a1.channels.c1.transactionCapacity = 100

       # 将a1中的各个组件建立关联关系，将source和sink都指向了同一个channe