Flume配置参数详解

已于 2023-03-15 13:49:09 修改
阅读量1.2k 收藏 2
点赞数
分类专栏： flume 大数据 文章标签： flume 大数据
于 2023-03-15 12:22:22 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_57151931/article/details/129549258
版权

目录

Sources

NetCat

Avro Source

Exec Source

Spooling Directory Source

Taildir Source

Channels

Memory Channel

File Channel

Sinks

Logger Sink

HDFS Sink

 Avro Sink

Kafka Sink

 启动命令

官方文档

# 命名此代理上的组件
a1.sources=r1
a1.sinks=k1
a1.channels=c1
 
# 描述/配置源
a1.sources.r1.type=netcat
a1.sources.r1.bind=192.168.152.192
a1.sources.r1.port=8888
 
# 使用缓冲内存中事件的通道
a1.channels.c1.type=memory
a1.channels.c1.capacity=1000
a1.channels.c1.transactionCapacity=100
 
# 描述接收器
a1.sinks.k1.type=logger
 
# 将源和接收器绑定到通道
a1.sources.r1.channels=c1
a1.sinks.k1.channel=c1

此配置定义名为a1的单个代理。a1有一个侦听端口8888上的数据的源，一个缓冲内存中事件数据的通道，以及一个将事件数据记录到控制台的接收器。

根据scource、channel、sink划分

Sources

Flume中常用的Source有NetCat，Avro，Exec，Spooling Directory，Taildir，也可以根据业务场景的需要自定义Source。

NetCat

NetCat Source可以使用TCP和UDP两种协议方式，使用方法基本相同，通过监听指定的IP和端口来传输数据，它会将监听到的每一行数据转化成一个Event写入到Channel中

channels，type，bind ，port为必选项

Property Name   Default       Description
channels          –     
type              –          类型指定为：netcat
bind              –          绑定机器名或IP地址
port              –          端口号
max-line-length   512        一行的最大字节数
ack-every-event   true       对成功接受的Event返回OK
selector.type   replicating  选择器类型replicating or multiplexing
selector.*                   选择器相关参数
interceptors       –         拦截器列表，多个以空格分隔
interceptors.*               拦截器相关参数

Avro Source

不同主机上的Agent通过网络传输数据可使用的Source，一般是接受Avro client的数据，或和是上一级Agent的Avro Sink成对存在。

channels，type，bind，port 为必选项

Property Name              Default          Description
channels                    –   
type                        –              类型指定为：avro
bind                        –              监听的主机名或IP地址
port                        –              端口号
threads                      –              传输可使用的最大线程数
selector.type        
selector.*       
interceptors                 –              拦截器列表
interceptors.*       
compression-type            none            可设置为“none” 或 “deflate”. 压缩类型需要和AvroSource匹配

Exec Source

Exec source通过执行给定的Unix命令的传输结果数据，如，cat，tail -F等，实时性比较高，但是一旦Agent进程出现问题，可能会导致数据的丢失。

channels，type，command 为必选项

Property Name            Default                 Description
channels                   –    
type                       –                    类型指定为：exec
command                    –                    需要去执行的命令
shell                       –                    运行命令的shell脚本文件
restartThrottle           10000                  尝试重启的超时时间
restart                   false                  如果命令执行失败，是否重启
logStdErr                 false                  是否记录错误日志
batchSize                  20                    批次写入channel的最大日志数量
batchTimeout              3000                   批次写入数据的最大等待时间（毫秒）
selector.type          replicating               选择器类型replicating or multiplexing
selector.*                                       选择器其他参数
interceptors                –                    拦截器列表，多个空格分隔
interceptors.*

Spooling Directory Source

通过监控一个文件夹将新增文件内容转换成Event传输数据，特点是不会丢失数据，使用Spooling Directory Source需要注意的两点是，

1)不能对被监控的文件夹下的新增的文件做出任何更改，

2）新增到监控文件夹的文件名称必须是唯一的。由于是对整个新增文件的监控，Spooling Directory Source的实时性相对较低，不过可以采用对文件高粒度分割达到近似实时。

channels，type，spoolDir 为必选项

Property Name                 Default             Description
channels                        –   
type                            –                类型指定：spooldir.
spoolDir                        –                被监控的文件夹目录
fileSuffix                  .COMPLETED            完成数据传输的文件后缀标志
deletePolicy                   never              删除已经完成数据传输的文件时间：never or immediate
fileHeader                     false              是否在header中添加文件的完整路径信息
fileHeaderKey                   file              如果header中添加文件的完整路径信息时key的名称
basenameHeader                 false              是否在header中添加文件的基本名称信息
basenameHeaderKey             basename            如果header中添加文件的基本名称信息时key的名称
includePattern                 ^.*$               使用正则来匹配新增文件需要被传输数据的文件
ignorePattern                   ^$                使用正则来忽略新增的文件
trackerDir                  .flumespool           存储元数据信息目录
consumeOrder                  oldest              文件消费顺序：oldest, youngest and random.
maxBackoff                     4000               如果channel容量不足，尝试写入的超时时间，如果仍然不能写入，则会抛出ChannelException
batchSize                      100                批次处理粒度
inputCharset                  UTF-8               输入码表格式
decodeErrorPolicy              FAIL               遇到不可解码字符后的处理方式：FAIL，REPLACE，IGNORE
selector.type               replicating           选择器类型：replicating or multiplexing
selector.*                                        选择器其他参数
interceptors                    –                 拦截器列表，空格分隔
interceptors.*

Taildir Source

可以实时的监控指定一个或多个文件中的新增内容，由于该方式将数据的偏移量保存在一个指定的json文件中，即使在Agent挂掉或被kill也不会有数据的丢失，需要注意的是，该Source不能在Windows上使用。

channels，type，filegroups  为必选项   

Property Name                      Default            Description
channels                              –  
type                                  –               指定类型：TAILDIR.
filegroups                            –               文件组的名称，多个空格分隔
filegroups.<filegroupName>@           –               被监控文件的绝对路径
positionFile         ~/.flume/taildir_position.json      存储数据偏移量路径
headers.<filegroupName>.<headerKey>   –               Header key的名称
byteOffsetHeader                    false             是否添加字节偏移量到key为‘byteoffset’值中
skipToEnd                           false             当偏移量不能写入到文件时是否跳到文件结尾
idleTimeout                         120000            关闭没有新增内容的文件超时时间（毫秒）
writePosInterval                    3000              在positionfile 写入每一个文件lastposition的时间间隔
batchSize                            100              批次处理行数
fileHeader                          false             是否添加header存储文件绝对路径
fileHeaderKey                       file              fileHeader启用时，使用的key

Channels

官网提供的Channel有多种类型可供选择，这里介绍Memory Channel和File Channel。

Memory Channel

Memory Channel是使用内存来存储Event，使用内存的意味着数据传输速率会很快，但是当Agent挂掉后，存储在Channel中的数据将会丢失

type 为必选项

Property Name                 Default                Description
type                             –                   类型指定为：memory
capacity                        100                  存储在channel中的最大容量
transactionCapacity             100                  从一个source中去或者给一个sink，每个事务中最大的事件数
keep-alive                       3                   对于添加或者删除一个事件的超时的秒钟
byteCapacityBufferPercentage    20                   定义缓存百分比
byteCapacity              see description            Channel中允许存储的最大字节总数

File Channel

File Channel使用磁盘来存储Event，速率相对于Memory Channel较慢，但数据不会丢失。

type 为必选项

Property Name            Default                  Description    
type                       –                      类型指定：file.
checkpointDir   ~/.flume/file-channel/checkpoint  checkpoint目录
useDualCheckpoints       false                    备份checkpoint，为True，backupCheckpointDir必须设置
backupCheckpointDir        –                      备份checkpoint目录
dataDirs    ~/.flume/file-channel/data           数据存储所在的目录设置
transactionCapacity      10000                    Event存储最大值
checkpointInterval       30000                    checkpoint间隔时间
maxFileSize            2146435071                 单一日志最大设置字节数
minimumRequiredSpace    524288000                 最小的请求闲置空间（以字节为单位）
capacity                 1000000                  Channel最大容量
keep-alive                 3                      一个存放操作的等待时间值（秒）
use-log-replay-v1         false                   Expert: 使用老的回复逻辑
use-fast-replay           false                   Expert: 回复不需要队列
checkpointOnClose         true

Sinks

Flume常用Sinks有Log Sink，HDFS Sink，Avro Sink，Kafka Sink，当然也可以自定义Sink。

Logger Sink

Logger Sink以INFO 级别的日志记录到log日志中，这种方式通常用于测试。

channel，type 为必选项  

Property Name          Default           Description
channel                 –   
type                     –               类型指定：logger
maxBytesToLog           16               能够记录的最大Event Body字节数

HDFS Sink

Sink数据到HDFS，目前支持text 和 sequence files两种文件格式，支持压缩，并可以对数据进行分区，分桶存储。

channel，type，hdfs.path  为必选项

Name                   Default               Description
channel                   –  
type                      –                  指定类型：hdfs
hdfs.path                 –                  HDFS的路径，eg hdfs://namenode/flume/webdata/
hdfs.filePrefix        FlumeData             保存数据文件的前缀名
hdfs.fileSuffix           –                  保存数据文件的后缀名
hdfs.inUsePrefix          –                  临时写入的文件前缀名
hdfs.inUseSuffix         .tmp                临时写入的文件后缀名
hdfs.rollInterval         30                 间隔多长将临时文件滚动成最终目标文件，单位：秒，
                                             如果设置成0，则表示不根据时间来滚动文件
hdfs.rollSize            1024                当临时文件达到多少（单位：bytes）时，滚动成目标文件，
                                             如果设置成0，则表示不根据临时文件大小来滚动文件
hdfs.rollCount            10                 当 events 数据达到该数量时候，将临时文件滚动成目标文件，
                                             如果设置成0，则表示不根据events数据来滚动文件
hdfs.idleTimeout          0                  当目前被打开的临时文件在该参数指定的时间（秒）内，
                                             没有任何数据写入，则将该临时文件关闭并重命名成目标文件
hdfs.batchSize           100                 每个批次刷新到 HDFS 上的 events 数量
hdfs.codeC                –                  文件压缩格式，包括：gzip, bzip2, lzo, lzop, snappy
hdfs.fileType         SequenceFile           文件格式，包括：SequenceFile, DataStream,CompressedStre，
                                             当使用DataStream时候，文件不会被压缩，不需要设置hdfs.codeC;
                                             当使用CompressedStream时候，必须设置一个正确的hdfs.codeC值；
hdfs.maxOpenFiles        5000                最大允许打开的HDFS文件数，当打开的文件数达到该值，
                                             最早打开的文件将会被关闭
hdfs.minBlockReplicas     –                  HDFS副本数，写入 HDFS 文件块的最小副本数。
                                             该参数会影响文件的滚动配置，一般将该参数配置成1，才可以按照配置正确滚动文件
hdfs.writeFormat        Writable             写 sequence 文件的格式。包含：Text, Writable（默认）
hdfs.callTimeout         10000               执行HDFS操作的超时时间（单位：毫秒）
hdfs.threadsPoolSize      10                 hdfs sink 启动的操作HDFS的线程数
hdfs.rollTimerPoolSize    1                  hdfs sink 启动的根据时间滚动文件的线程数
hdfs.kerberosPrincipal    –                  HDFS安全认证kerberos配置
hdfs.kerberosKeytab       –                  HDFS安全认证kerberos配置
hdfs.proxyUser                               代理用户
hdfs.round              false                是否启用时间上的”舍弃”
hdfs.roundValue           1                  时间上进行“舍弃”的值
hdfs.roundUnit          second               时间上进行”舍弃”的单位，包含：second,minute,hour
hdfs.timeZone         Local Time             时区。
hdfs.useLocalTimeStamp  false                是否使用当地时间
hdfs.closeTries 0       Number               hdfs sink 关闭文件的尝试次数；
                                             如果设置为1，当一次关闭文件失败后，hdfs sink将不会再次尝试关闭文件，
                                             这个未关闭的文件将会一直留在那，并且是打开状态；
                                             设置为0，当一次关闭失败后，hdfs sink会继续尝试下一次关闭，直到成功
hdfs.retryInterval        180                hdfs sink 尝试关闭文件的时间间隔，
                                             如果设置为0，表示不尝试，相当于于将hdfs.closeTries设置成1
serializer               TEXT                序列化类型
serializer.*

 Avro Sink

Avro Sink在通过线路发送数据之前可以压缩数据。压缩级别1~9，虽然9代表最好的压缩，但是在Sink压缩和Source解压缩所花费的时间也越多

Avro Sink支持使用SSL进行加密通信。Source接收数据也必须配置为从Avro Sink接收加密数据。除非指定，Flume将使用Java默认的JSSE证书授权文件，jssecacerts/cacerts,来判断Avro Source的SSL证书是否可信。

channel，type，hostname，port  为必选项

Property Name              Default              Description
channel                         –   
type                        –                  指定类型：avro.
hostname                    –                  主机名或IP
port                        –                  端口号
batch-size                  100                 批次处理Event数
connect-timeout            20000                连接超时时间
request-timeout            20000                请求超时时间
compression-type            none                压缩类型，“none” or “deflate”.
compression-level            6                  压缩级别，0表示不压缩，1-9数字越大，压缩比越高
ssl                        false                使用ssl加密

Kafka Sink

传输数据到Kafka中，需要注意的是Flume版本和Kafka版本的兼容性

Property Name              Default             Description
type                         –                 指定类型：org.apache.flume.sink.kafka.KafkaSink
kafka.bootstrap.servers      –                 kafka服务地址
kafka.topic          default-flume-topic       kafka Topic
flumeBatchSize              100                批次写入kafka Event数
kafka.producer.acks          1                 多少个副本确认后才能确定消息传递成功，0表示不需要确认
                                               1表示只需要首要的副本得到确认，-1表示等待所有确认。

 启动命令

opt/soft/flume/bin/flume-ng agent --name events --conf ./conf/ --conf-file ./conf/events-flume-logger.conf -Dflume.root.logger=INFO,console

1、flume-ng agent 运行一个Flume Agent

2、-conf 指定配置文件，这个配置文件必须在全局选项的–conf参数定义的目录下。

3、-name a1 Agent的名称a1

4、-Dflume.root.logger=INFO,console 该参数将会把flume的日志输出到console,为了将其输出到日志文件(默认在$FLUME_HOME/logs),可以将console改为LOGFILE形式

快乐画饼
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
理解FlumeNG的batchSize和transactionCapacity参数和传输事务的原理 【转】
dianzhouyu2189的博客
12-16 289
基于ThriftSource,MemoryChannel,HdfsSink三个组件，对Flume数据传输的事务进行分析，如果使用的是其他组件，Flume事务具体的处理方式将会不同。 Flume的事务处理原理： Flume在对Channel进行Put和Take操作的时候，必须要用事物包住,比如： Channel ch=new MemoryChannel(); Tran...
Flume参数配置详解
u012743578的博客
07-21 1218
Flume参数配置详解 一、agent #sources、channels、sinks 名称定义 agent_1.sources = weixin_source_from_kafka agent_1.channels = weixin_channel1 agent_1.sinks = weixin_sinks1 weixin_sinks2 二、分组 #set group，组名称为“g1” agent_1.sinkgroups = g1 #set sinks group ，weixin_si
Flume 尚硅谷2019
紫蝶侠的博客
03-06 263
1.Flume 概述 1.1Flume 定义和作用 Flume 是 Cloudera 提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传 输的系统。Flume 基于流式架构，灵活简单。 flume只能传输文本文件，不能传输图片 Flume最大作用就是提高数据流的实时性 Flume最主要的作用就是，实时读取服务器本地磁盘的数据，将数据写入到HDFS 1.2Flume的基础架构 Flume 组成架构如图 1.2.1 Agent Agent 是一个 JVM 进程，它以事件的形式将数据从源头送至目
Flume生产性能调优
mischen520的博客
07-02 391
1）Source 增加Source个（使用Tair Dir Source时可增加FileGroups个数）可以增大Source的读取数据的能力。例如：当某一个目录产生的文件过多时需要将这个文件目录拆分成多个文件目录，同时配置好多个Source 以保证Source有足够的能力获取到新产生的数据。 batchSize参数决定Source一次批量运输到Channel的event条数，适当调大这个参数可以提高Source搬运Event到Channel时的性能。 2）Channel type 选择memor.
高吞吐量Flume Agent调优小结
LittleMagic's Blog
10-27 886
前言 所有电商企业在一年一度的双11都要迎来大促与大考，我司也不例外（所以最近真是前所未有的忙乱）。前段时间在配合执行全链路压测的过程中，发现平时不太关注的Flume配置可能存在瓶颈。Flume在笔者负责的实时计算平台里用于收集所有后端访问日志和埋点日志，其效率和稳定性比较重要。除了及时扩容之外，也有必要对Flume进行调优。今天在百忙之中挤出一点时间来写写。 Flume系统以一个或多个Flume...
Flume参数详解
04-02
consumer的配置参数、producer的配置参数、listener的配置参数详解
【flume 配置详解】
scott_bing的专栏
04-24 2480
在上面的配置中，我们可以看到agent1.sources、agent1.channels和agent1.sinks这些属性，它们分别对应了源、通道和目标组件的配置，而agent1.sources.source1.type、agent1.sources.source1.command、agent1.channels.channel1.type等则对应了各自的属性。在上面的配置中，我们使用了内存通道(Memory Channel)，它的容量设置为1000，即最多可以存储1000个Event事件。
最全Flume常用配置文件详情解析
选择大于努力，所以你的选择是什么？
05-08 2068
最全Flume常用配置文件详情解析 Alienware^ 于 2020-08-19 21:08:09 发...
Flume1.7及以上版本的Kafka Sink batchsize（flumeBatchSize） 配置问题
sunspeedzy的博客
03-28 6446
Flume1.6的Kafka Sink参数中的batchSize属性在Flume1.7以后，变成了flumeBatchSize（应该是为了区分Kafka Producer的batch.size参数）。 在flume-ng-1.6.0-cdh5.14.4中Kafka Sink也使用 flumeBatchSize 参数。 flumeBatchSize的作用 How many messages to p...
Hadoop硬实战 [（美）霍姆斯著][电子工业出版社][2015.01]_PDF电子书下载 带书签目录 高清完整版.rar )
12-08
6．4．2　参数配置 6．4．3　优化 shuffle 和 sort 阶段 技术点46　避免reducer 技术点47　过滤和投影 技术点48　使用 combiner 技术点49　超炫的使用比较器的快速排序 6．4．4　减轻倾斜 技术点50　收集倾斜数据 ...
最新电商大数据平台项目实战
04-10
24.电商项目之Flume安装配置参数讲解.mp4 29.电商项目之用户行为日志字段分析.mp4 30.电商项目之用户产生字段详解.mp4 33.电商项目之DW层分析讲解.mp4 36.电商项目之DWD用户启动日志表SQL实现（下）.mp4 37.电商项目...
尚gg大数据项目实战电商数仓系统开发教程.txt
07-24
32_数仓采集_日志采集Flume配置分析.avi U6 j% Q4 F$ T6 U5 ^ 33_数仓采集_ETL拦截器.avi 34_数仓采集_分类型拦截器.avi! b5 ^. a8 ^; }$ x8 z) l2 U3 }" p 35_数仓采集_日志采集Flume启动停止脚本.avi2 ~/ r- J: h$...
java开源包1
06-28
集中管理请求参数与参数映射 以运行时异常的方式来管理错误的响应 使用泛型来做强类型编程 多协议扩展支持（REST, RPC, SOAP, etc） Rails3消息队列系统 Sidekiq Sidekiq 为 Rails 3 应用程序提供一个高效的消息...
踏上大数据第一步：flume
Hanko的专栏
04-29 591
Flume是一个分布式、可靠、可用的系统,用于高效地收集、聚合和移动大量日志数据。它旨在从不同的数据源收集数据,并将其存储到中央数据存储中,如HDFS、HBase或Solr等。Flume是Apache旗下的一个顶级项目,是Hadoop生态系统中的一个重要组件。日志收集Flume可以高效地从各种Web服务器、应用服务器等收集日志数据,并将其传输到HDFS或其他存储系统中,为后续的数据分析做准备。数据采集。
大数据面试题 —— Spark数据倾斜及其解决方案
hu_wei123的博客
04-27 1007
有的时候，我们可能会遇到大数据计算中一个最棘手的问题 ——数据倾斜，此时 Spark 作业的性能会比期望差很多。数据倾斜调优，就是使用各种技术方案解决不同类型的数据倾斜问题，以保证 Spark 作业的性能。
Debezium日常分享系列之：Debezium 2.7.0.Alpha1发布
zhengzaifeidelushang的博客
04-29 734
虽然 Oracle 建议用户避免使用基于 RAW 的列，但出于向后兼容性的原因，这些列仍广泛用于标准 Oracle 表中。但在某些业务用例中，继续使用 RAW 列而不是其他数据类型是有意义的。Debezium 2.7 引入了一个专门针对 Oracle 的新自定义转换器，称为 RawToStringConverter。此自定义转换器旨在允许您使用 STRING 架构类型快速将 RAW 列的字节数组内容转换为基于字符串的字段。
10分钟了解数据质量管理-奥斯汀格里芬 Apache Griffin
搞数据
04-28 1073
Griffin是一个开源的大数据数据质量解决方案，由eBay开源，它支持批处理和流模式两种数据质量检测方式，是一个基于Hadoop和Spark建立的数据质量服务平台 (DQSP)。它提供了一个全面的框架来处理不同的任务，例如定义数据质量模型、执行数据质量测量、自动化数据分析和验证，以及跨多个数据系统的统一数据质量可视化。Griffin于2016年12月进入Apache孵化器，Apache软件基金会2018年12月12日正式宣布Apache Griffin毕业成为Apache顶级项目。
ruoyi漏洞总结
最新发布
qq_59468567的博客
05-03 188
baseurl 就有了，有的是全的 url，大多数是只给个 baseurl：prod-api，这类。js 下面有个 app.xxxxxx(一些个字母数字).js，直接里面搜。如果页面访问显示不正常，可添加默认访问路径尝试是否显示正常。若依有个特点，密码可能在前台直接显示，点击并能够成功登录。监控中存在大量接口路径，可通过未授权获取更多敏感信息在。图标和登录页面及验证码处的样式识别出若依。认证失败，无法访问系统资源。进行替换实现登录系统。数据库存在未授权访问。
flume配置文件详解
08-02
Flume的配置文件用于指定数据源和目的地之间的交互方式。在配置文件中，可以定义数据源、通道和接收器的类型以及它们之间的关系。以下是Flume配置文件的详细解析： 1. Source配置项：Flume支持多种数据源，包括Avro Source、NetCat Source、Exec Source等。每种数据源都有相应的配置项，用于指定数据源的类型、监听的端口、文件路径等。 2. Channel配置项：通道用于在数据源和接收器之间传输数据。Flume提供了多种通道类型，包括Memory Channel、JDBC Channel、Kafka Channel等。每种通道都有相应的配置项，用于指定通道的类型、容量、持久化方式等。 3. Sink配置项：接收器用于接收从通道中传输过来的数据，并进行相应的处理。Flume提供了多种接收器类型，包括Logger Sink、HDFS Sink、Hive Sink等。每种接收器都有相应的配置项，用于指定接收器的类型、目标路径、格式等。 需要注意的是，以上只是常见的配置项，Flume还提供了更多的配置项，可以根据具体需求进行配置。详细的配置项可以参考Flume官网提供的文档。 总结起来，Flume的配置文件主要包括数据源、通道和接收器的配置项，通过配置文件可以灵活地定义数据的采集、传输和处理方式。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值