Flume参数详解

目录

配置参数详解

小文件问题

注意事项

1.idleTimeout 设置为 0  

2.round 与 rollInterval 理解有误

---

配置参数详解

type ：hdfs

path：

           集群的nameservers名字；单节点的直接写：hdfs://主机名(ip):9000/xxx   

           HA集群：  hdfs://mycluster/flume/%Y%m%d  

filePrefix ：

              默认值：FlumeData；写入hdfs的文件名前缀，可以使用flume提供的日期及%{host}表达式。

fileSuffix： 

            写入hdfs的文件名后缀，比如：.lzo .log等。

inUsePrefix ： 

             临时文件的文件名前缀。

             hdfs sink会先往目标目录中写临时文件，再根据相关规则重命名成最终目标文件；

inUseSuffix：

            默认值：.tmp    临时文件的文件名后缀。

rollInterval：
            默认值：30

            hdfs sink间隔多长将临时文件滚动成最终目标文件，单位：秒；

            如果设置成0，则表示不根据时间来滚动文件；

            注：滚动（roll）指的是，hdfs sink将临时文件重命名成最终目标文件，并新打开一个临时文件来写入数据；

rollSize：
            默认值：1024

            当临时文件达到该大小（单位：bytes）时，滚动成目标文件；

            如果设置成0，则表示不根据临时文件大小来滚动文件；

rollCount：
            默认值：10

            当events数据达到该数量时候，将临时文件滚动成目标文件；

            如果设置成0，则表示不根据events数据来滚动文件；

idleTimeout
            默认值：0
            当目前被打开的临时文件在该参数指定的时间（秒）内，没有任何数据写入，则将该临时文件关闭并重命名成目标文件；

batchSize：
            默认值：100

            每个批次刷新到HDFS上的events数量；

codeC：
            文件压缩格式，包括：gzip, bzip2, lzo, lzop, snappy

fileType：
            默认值：SequenceFile

            文件格式，包括：SequenceFile, DataStream,CompressedStream

            当使用DataStream时候，文件不会被压缩，不需要设置hdfs.codeC;

            当使用CompressedStream时候，必须设置一个正确的hdfs.codeC值；

maxOpenFiles
            默认值：5000

            最大允许打开的HDFS文件数，当打开的文件数达到该值，最早打开的文件将会被关闭；

minBlockReplicas
            默认值：HDFS副本数

            写入HDFS文件块的最小副本数。

            该参数会影响文件的滚动配置，一般将该参数配置成1，才可以按照配置正确滚动文件。

writeFormat
            文件的格式。包含：Text, Writable（默认）

callTimeout
            默认值：10000

            执行HDFS操作的超时时间（单位：毫秒）；

threadsPoolSize
            默认值：10

            hdfs sink启动的操作HDFS的线程数。

rollTimerPoolSize
            默认值：1

            hdfs sink启动的根据时间滚动文件的线程数。

kerberosPrincipal
            HDFS安全认证kerberos配置；

kerberosKeytab
            HDFS安全认证kerberos配置；

proxyUser
            代理用户

round
            默认值：false

            是否启用时间上的”舍弃”，这里的”舍弃”，类似于”四舍五入”。如果启用，则会影响除了%t的其他所有时间表达式；

roundValue
            默认值：1

            时间上进行“舍弃”的值；

roundUnit
            默认值：seconds

            时间上进行”舍弃”的单位，包含：second,minute,hour

 

            示例：

                    a1.sinks.k1.hdfs.path = /flume/events/%y-%m-%d/%H%M/%S

                    a1.sinks.k1.hdfs.round = true

                    a1.sinks.k1.hdfs.roundValue = 10

                    a1.sinks.k1.hdfs.roundUnit = minute

                    当时间为2015-10-16 17:38:59时候，hdfs.path依然会被解析为：

                    /flume/events/20151016/17:30/00

                    因为设置的是舍弃10分钟内的时间，因此，该目录每10分钟新生成一个。

timeZone
            默认值：Local Time

            时区。

useLocalTimeStamp
            默认值：flase

            是否使用当地时间。

closeTries
            默认值：0

            hdfs sink关闭文件的尝试次数；

            如果设置为1，当一次关闭文件失败后，hdfs sink将不会再次尝试关闭文件，这个未关闭的文件将会一直留在那，并且是打开状态。

            设置为0，当一次关闭失败后，hdfs sink会继续尝试下一次关闭，直到成功。

retryInterval
            默认值：180（秒）

            hdfs sink尝试关闭文件的时间间隔，如果设置为0，表示不尝试，相当于于将hdfs.closeTries设置成1.

serializer
            默认值：TEXT

            序列化类型。其他还有：avro_event或者是实现了EventSerializer.Builder的类名。

 

小文件问题

产生很多小文件的原因，从以下几个方面找问题：

1.minBlockReplicas未配置，应配置为 1

2.概念理解有误

# 在有数据的前提下，每隔60秒滚动一次文件
a1.sinks.k3.hdfs.rollInterval=60
# 在有数据的前提下，当文件大小达到100M，就滚动一次文件
a1.sinks.k3.hdfs.rollSize=102400
# 在有数据的前提下，当文件记录的条数超过10条，就滚动一次文件
a1.sinks.k3.hdfs.rollCount=10
  只要满足其中一个条件，就会滚动生成文件

 

 

注意事项

1.idleTimeout 设置为 0  

          如果flume程序突然宕机，就会导致 hdfs上的 .tmp后缀的文件无法会更改为完成的文件，造成一种假象，以为该文件正在写入。当程序重启时，就会有两个 .tmp文件。

          如果idle Timeout有设置值m，当在m秒内没有数据写入，就会把tmp文件改为已完成。后面再有数据过来的时候重新生成.tmp文件。

         建议：最好设置一个比较大的值，防止小文件产生，若不设置，宕机的话会有tmp文件

2.round 与 rollInterval 理解有误

 round、roundValue、roundUnit是基于路径path去滚动生成文件夹的，针对文件夹而言

 rollInterval、rollSize、rollCount是基于文件的条件限制滚动生成文件的，基于文件而言的