数据采集工具 - Flume
一、Flume概述
-
定义:
-
Flume由Cloudera公司开发,是一个分布式、高可靠、高可用的海量日志采集、聚合、传输的系统。
-
Flume支持在日志系统中定制各类数据发送方,用于采集数据;
-
Flume提供对数据进行简单处理,并写到各种数据接收方的能力。
-
简单的说,Flume是实时采集日志的数据采集引擎。
-
Flume有3个重要组件:Source、Channel、Sink
-
特点:
- 分布式:flume分布式集群部署,扩展性好
- 可靠性好: 当节点出现故障时,日志能够被传送到其他节点上而不会丢失
- 易用性:flume配置使用较繁琐,对使用人员专业技术要求高
- 实时采集:flume采集流模式进行数据实时采集
-
适用场景:适用于日志文件实时采集。
-
-
体系结构:
- Flume架构中的组件:
- Agent本质上是一个 JVM 进程,该JVM进程控制Event数据流从外部日志生产者那里传输到目的地(或者是下一个Agent)。一个完整的Agent中包含了三个组件Source、Channel和Sink,Source是指数据的来源和方式,Channel是一个数据的缓冲池,Sink定义了数据输出的方式和目的地。
- Source是负责接收数据到Flume Agent的组件。Source组件可以处理各种类型、各种格式的日志数据,包括avro、exec、spooldir、netcat等。
- Channel是位于Source和Sink之间的缓冲区。Channel允许Source和Sink运作在不同的速率上。Channel是线程安全的,可以同时处理多个Source的写入操作及多个Sink的读取操作。常用的Channel包括:
- Memory Channel是内存中的队列。Memory Channel在允许数据丢失的情景下适用。如果不允许数据丢失,应该避免使用Memory Channel,因为程序死亡、机器宕机或者重启都可能会导致数据丢失;
- File Channel将所有事件写到磁盘。因此在程序关闭或机器宕机的情况下不会丢失数据;
- Sink不断地轮询Channel中的事件且批量地移除它们,并将这些事件批量写入到存储或索引系统、或者被发送到另一个Flume Agent。Sink是完全事务性的。在从Channel批量删除数据之前,每个Sink用Channel启动一个事务。批量事件一旦成功写出到存储系统或下一个Flume Agent,Sink就利用Channel提交事务。事务一旦被提交,该Channel从自己的内部缓冲区删除事件。Sink组件包括hdfs、logger、avro、file、null、HBase、消息队列等。
- Event是Flume定义的一个数据流传输的最小单位。
- Flume架构中的组件:
-
拓扑结构:
-
串行模式:
-
将多个flume给顺序连接起来,从最初的source开始到最终sink传送的目的存储系统。
-
此模式不建议桥接过多的flume数量, flume数量过多不仅会影响传输速率,而且一旦传输过程中某个节点flume宕机,会影响整个传输系统;
-
-
复制模式(单Source多Channel、Sink模式):
- 将事件流向一个或者多个目的地。这种模式将数据源复制到多个channel中,每个channel都有相同的数据,sink可以选择传送的不同的目的地。
- 将事件流向一个或者多个目的地。这种模式将数据源复制到多个channel中,每个channel都有相同的数据,sink可以选择传送的不同的目的地。
-
负载均衡模式(单Source、Channel多Sink):
- 将多个sink逻辑上分到一个sink组,flume将数据发送到不同的sink,主要解决负载均衡和故障转移问题。
-
聚合模式:
- 这种模式最常见的,也非常实用,日常web应用通常分布在上百个服务器,大者甚至上千个、上万个服务器。产生的日志,处理起来也非常麻烦。用这种组合方式能很好的解决这一问题,每台服务器部署一个flume采集日志,传送到一个集中收集日志的flume,再由此flume上传到hdfs、hive、hbase、消息队列中。
- 这种模式最常见的,也非常实用,日常web应用通常分布在上百个服务器,大者甚至上千个、上万个服务器。产生的日志,处理起来也非常麻烦。用这种组合方式能很好的解决这一问题,每台服务器部署一个flume采集日志,传送到一个集中收集日志的flume,再由此flume上传到hdfs、hive、hbase、消息队列中。
-
-
Flume内部原理:
总体数据流向:Souce => Channel => Sink Channel: 处理器、拦截器、选择器
- 具体过程:
- Source接收事件,交给其Channel处理器处理事件
- 处理器通过拦截器Interceptor,对事件一些处理,比如压缩解码,正则拦截,时间戳拦截,分类等
- 经过拦截器处理过的事件再传给Channel选择器,将事件写入相应的Channel。Channel Selector有两种:
- Replicating Channel Selector(默认),会将source过来的Event发往所有Channel(比较常用的场景是,用多个Channel实现冗余副本,保证可用性)
- Multiplexing Channel Selector,根据配置分发event。此selector会根据event中某个header对应的value来将event发往不同的channel
- 最后由Sink处理器处理各个Channel的事件
二、基本应用
2.1 入门案例
-
业务需求:监听本机 8888 端口,Flume将监听的数据实时显示在控制台
-
需求分析:
- 使用 telnet 工具可以向 8888 端口发送数据
- 监听端口数据,选择 netcat source
- channel 选择 memory
- 数据实时显示,选择 logger sink
-
实现步骤:
-
安装talnet:
yum install telnet
-
检查8888端口是否被占用:若被占用,选择其他端口:
lsof -i:8888
-
创建 Flume Agent 配置文件。 flume-netcat-logger.conf
# a1是agent的名称。source、channel、sink的名称分别为:r1 c1 k1 a1.sources = r1 #Agent a1 的source有一个,叫做r1 a1.channels = c1 #Agent a1 的sink也有一个,叫做k1 a1.sinks = k1 #Agent a1 的channel有一个,叫做c1 # source a1.sources.r1.type = netcat # 使用的是NetCat TCP Source,这里配的是别名,Flume内置的一些组件都是有别名的,没有别名填全限定类名 a1.sources.r1.bind = localhost # NetCat TCP Source监听的hostname,这个是本机 a1.sources.r1.port = 8888 #监听的端口 # channel a1.channels.c1.type = memory # channel的类型是内存channel,顾名思义这个channel是使用内存来缓冲数据 a1.channels.c1.capacity = 10000 # 内存channel的容量大小是10000,注意这个容量不是越大越好,配置越大一旦Flume挂掉丢失的event也就越多 a1.channels.c1.transactionCapacity = 100 # source和sink从内存channel每次事务传输的event数量 # sink a1.sinks.k1.type = logger # sink使用的是Logger Sink,这个配的也是别名 # source、channel、sink之间的关系 把source和sink绑定到channel上 a1.sources.r1.channels = c1 # 与source r1绑定的channel有一个,叫做c1 a1.sinks.k1.channel = c1 # 与sink k1绑定的channel有一个,叫做c1
- Memory Channel 是使用内存缓冲Event的Channel实现。速度比较快速,容量会受到 jvm 内存大小的限制,可靠性不够高。适用于允许丢失数据,但对性能要求较高的日志采集业务。
-
启动Flume Agent:
$FLUME_HOME/bin/flume-ng agent --name a1 \ --conf-file $FLUME_HOME/conf/flume-netcat-logger.conf \ -Dflume.root.logger=INFO,console
- name。定义agent的名字,要与参数文件一致
- conf-file。指定参数文件位置
- -D表示flume运行时动态修改 flume.root.logger 参数属性值,并将控制台日志打印级别设置为INFO级别。日志级别包括:log、info、warn、error
-
使用telnet向本机的8888 端口发送消息:
telnet xxx 8888
-
在Flume监听页面查看数据接收情况:
INFO sink.LoggerSink: Event: { headers:{} body: 68 65 6C 6C 6F 20 77 6F 72 6C 64 0D hello world. } INFO sink.LoggerSink: Event: { headers:{} body: 41 72 65 20 79 6F 75 20 6F 6B 3F 0D Are you ok?. }
-
…
三、高级特性
3.1 拦截器
- Flume支持在运行时对event进行修改或丢弃,通过拦截器来实现;
- Flume里面的拦截器是实现了org.apache.flume.interceptor.Interceptor 接口的类;
- 拦截器可以根据配置 修改 甚至 丢弃 event;
- Flume也支持链式的拦截器执行方式,在配置文件里面配置多个拦截器就可以了;
- 拦截器的顺序取决于它们配置的顺序,Event 按照顺序经过每一个拦截器;
3.1.1 时间添加戳拦截器
-
这个拦截器会向每个event的header中添加一个时间戳属性进去,key默认是这个拦截器会向每个event的header中添加一个时间戳属性进去,key默认是值(其实就是用*System.currentTimeMillis()方法得到的)。如果event已经存在同名值(其实就是用System.currentTimeMillis()*方法得到的)。如果event已经存在同名的属性,可以选择是否保留原始的值。
属相 默认值 解释 type - timestamp header timestamp 向event header中添加时间戳键值对的key preserveExisting false 是否保留event header中已经存在的同名(上面header设置的key,默认是timestamp)时间戳 -
测试:
-
再次运行 入门案例 中的测试,观察 event header信息
$FLUME_HOME/bin/flume-ng agent --name a1 \ --conf-file ~/conf/flume-netcat-logger.conf \ -Dflume.root.logger=INFO,console telnet linux123 8888 # 输入 hello world
-
-
在入门案例的基础上,在配置文件中增加时间拦截器的配置。命名为timestamp.conf
# Name the components on this agent a1.sources = r1 a1.sinks = k1 a1.channels = c1 # configure the source a1.sources.r1.type = netcat a1.sources.r1.bind = linux123 a1.sources.r1.port = 8888 # ======= 这部分是新增 时间拦截器的 内容 a1.sources.r1.interceptors = i1 a1.sources.r1.interceptors.i1.type = timestamp # 是否保留Event header中已经存在的同名时间戳,缺省值false a1.sources.r1.interceptors.i1.preserveExisting= false # ======= 这部分是新增 时间拦截器的 内容 # Describe the sink a1.sinks.k1.type = logger # Use a channel which buffers events in memory a1.channels.c1.type = memory a1.channels.c1.capacity = 10000 a1.channels.c1.transactionCapacity = 500 # Bind the source and sink to the channel a1.sources.r1.channels = c1 a1.sinks.k1.channel = c1
-
再次启动上述1命令:
3.1.2 Host添加拦截器
-
测试:
-
在时间拦截器案例的基础上,在配置文件中增加主机名拦截器的配置。命名为hostname.conf
# Name the components on this agent a1.sources = r1 a1.sinks = k1 a1.channels = c1 # configure the source a1.sources.r1.type = netcat a1.sources.r1.bind = linux123 a1.sources.r1.port = 8888 # ======= 这部分是新增 时间拦截器 的内容 a1.sources.r1.interceptors = i1 i2 a1.sources.r1.interceptors.i1.type = timestamp a1.sources.r1.interceptors.i1.preserveExisting = false # ======= 这部分是新增 时间拦截器 的内容 # ======= 这部分是新增 主机名拦截器 的内容 a1.sources.r1.interceptors.i2.type = host # 如果header中已经存在同名的属性是否保留 a1.sources.r1.interceptors.i2.preserveExisting = false # true:使用IP地址;false:使用hostname a1.sources.r1.interceptors.i2.useIP = false # ======= 这部分是新增 主机名拦截器 的内容 # Describe the sink a1.sinks.k1.type = logger # Use a channel which buffers events in memory a1.channels.c1.type = memory a1.channels.c1.capacity = 10000 a1.channels.c1.transactionCapacity = 500 # Bind the source and sink to the channel a1.sources.r1.channels = c1 a1.sinks.k1.channel = c1
-
再次启动上述1命令:
-
3.1.3 正则表达式过滤拦截器
- 这个拦截器会把Event的body当做字符串来处理,并用配置的正则表达式来匹配。可以配置指定被匹配到的Event丢弃还是没被匹配到的Event丢弃。
3.2 选择器
- source可以向多个channel同时写数据,所以也就产生了以何种方式向多个channel写的问题:
- replication(复制,缺省)。数据完整地发送到每一个channel;
- multiplexing(多路复用)。通过配置来按照一定的规则进行分发;
3.2.1 复制选择器
a1.sources = r1
a1.channels = c1 c2 c3
a1.sources.r1.selector.type = replicating
a1.sources.r1.channels = c1 c2 c3
a1.sources.r1.selector.optional = c3
- 上面这个例子中,c3配置成了可选的。向c3发送数据如果失败了会被忽略。c1和c2没有配置成可选的,向c1和c2写数据失败会导致事务失败回滚。
3.2.2 多路复用选择器
a1.sources = r1
a1.channels = c1 c2 c3 c4
a1.sources.r1.selector.type = multiplexing
# 以每个Event的header中的state这个属性的值作为选择channel的依据
a1.sources.r1.selector.header = state
# 如果state=CZ,则选择c1这个channel
a1.sources.r1.selector.mapping.CZ = c1
# 如果state=US,则选择c2 和 c3 这两个channel
a1.sources.r1.selector.mapping.US = c2 c3
# 默认使用c4这个channel
a1.sources.r1.selector.default = c4
3.2.3 自定义选择器
- 自定义选择器就是开发一个 org.apache.flume.ChannelSelector 接口的实现类。实现类以及依赖的jar包在启动时候都必须放入Flume的classpath。
a1.sources = r1
a1.channels = c1
a1.sources.r1.selector.type = org.liyifeng.flume.channel.MyChannelSelector
3.3 Sink组逻辑处理器
-
可以把多个sink分成一个组, Sink组逻辑处理器可以对这同一个组里的几个sink进行负载均衡 或者 其中一个sink发生故障后将输出Event的任务转移到其他的sink上。
-
N个sink将Event输出到对应的N个目的地的,通过 Sink组逻辑处理器 可以把这N个sink配置成负载均衡或者故障转移的工作方式:
- 负载均衡是将channel里面的Event,按照配置的负载机制(比如轮询)分别发送到sink各自对应的目的地
- 故障转移是这N个sink同一时间只有一个在工作,其余的作为备用,工作的sink挂掉之后备用的sink顶上
3.3.1 默认
- 默认的组逻辑处理器就是只有一个sink的情况,这种情况就没必要配置sink组了。前面的例子都是 source - channel - sink这种一对一,单个sink的。
3.3.2 故障转移
-
故障转移组逻辑处理器维护了一个发送Event失败的sink的列表,保证有一个sink是可用的来发送Event。
-
故障转移机制的工作原理是:将故障sink降级到一个池中,在池中为它们分配冷却期(超时时间),在重试之前随顺序故障而增加。 Sink成功发送事件后,它将恢复到实时池。sink具有与之相关的优先级,数值越大,优先级越高。 如果在发送Event时Sink发生故障,会继续尝试下一个具有最高优先级的sink。 例如,在优先级为80的 sink之前激活优先级为100的sink。如果未指定优先级,则根据配置中的顺序来选取。
-
要使用故障转移选择器,不仅要设置sink组的选择器为failover,还有为每一个sink设置一个唯一的优先级数值。 可以使用 maxpenalty 属性设置故障转移时间的上限(毫秒)。
3.3.3 负载均衡
-
负载均衡Sink 选择器提供了在多个sink上进行负载均衡流量的功能。 它维护一个活动sink列表的索引来实现负载的分配。 支持轮询( round_robin )【默认值】和随机( random )两种选择机制分配负载。
-
工作时,此选择器使用其配置的选择机制选择下一个sink并调用它。 如果所选sink无法正常工作,则处理器通过其配置的选择机制选择下一个可用sink。 此实现不会将失败的Sink列入黑名单,而是继续乐观地尝试每个可用的Sink。
-
如果所有sink调用都失败了,选择器会将故障抛给sink的运行器
-
如果 backoff 设置为true则启用了退避机制,失败的sink会被放入黑名单,达到一定的超时时间后会自动从黑名单移除。 如从黑名单出来后sink仍然失败,则再次进入黑名单而且超时时间会翻倍,以避免在无响应的sink上浪费过长时间。 如果没有启用退避机制,在禁用此功能的情况下,发生sink传输失败后,会将本次负载传给下一个sink继续尝试,因此这种情况下是不均衡的。
3.4 事务机制与可靠性
-
事务一个典型的特征就是将一批操作做成原子性的,要么都成功,要么都失败;
-
在Flume中一共有两个事务:
- Put事务。在Source到Channel之间
- Take事务。Channel到Sink之间
-
从 Source 到 Channel 过程中,数据在 Flume 中会被封装成 Event 对象,也就是一批 Event ,把这批 Event 放到一个事务中,把这个事务也就是这批event一次性的放入Channel 中。同理,Take事务的时候,也是把这一批event组成的事务统一拿出来到sink放到HDFS上。
3.4.1 Put事务
- 事务开始的时候会调用一个
doPut
方法,doPut
方法将一批数据放在putList中;- putList在向 Channel 发送数据之前先检查 Channel 的容量能否放得下,如果放不下一个都不放,只能
doRollback
; - 数据批的大小取决于配置参数
batch size
的值; - putList的大小取决于配置 Channel 的参数
transaction capacity
的大小,该参数大小就体现在putList上;(Channel的另一个参数 capacity 指的是 Channel 的容量);
- putList在向 Channel 发送数据之前先检查 Channel 的容量能否放得下,如果放不下一个都不放,只能
- 数据顺利的放到putList之后,接下来可以调用
doCommit
方法,把putList中所有的 Event 放到 Channel 中,成功放完之后就清空putList; - 在doCommit提交之后,事务在向 Channel 存放数据的过程中,事务容易出问题。如 Sink取数据慢,而 Source 放数据速度快,容易造成 Channel 中数据的积压,如果 putList 中的数据放不进去,会如何呢?
- 此时会调用
doRollback
方法,doRollback
方法会进行两项操作:将putList清空;抛出 ChannelException异常。source会捕捉到doRollback抛出的异常,然后source就将刚才的一批数据重新采集,然后重新开始一个新的事务,这就是事务的回滚。
3.4.2 Take 事务
- Take事务同样也有takeList,HDFS sink配置有一个 batch size,这个参数决定 Sink从 Channel 取数据的时候一次取多少个,所以该 batch size 得小于 takeList 的大小,而takeList的大小取决于
transaction capacity
的大小,同样是channel 中的参数。 - **Take事务流程:**事务开始后:
doTake
方法会将channel中的event剪切到takeList中。如果后面接的是HDFSSink的话,在把Channel中的event剪切到takeList中的同时也往写入HDFS的IO缓冲流中放一份event(数据写入HDFS是先写入IO缓冲流然后flush到HDFS);- 当takeList中存放了
batch size
数量的event之后,就会调用doCommit
方法,doCommit方法会做两个操作:- 针对HDFS Sink,手动调用IO流的flush方法,将IO流缓冲区的数据写入到HDFS磁盘中;
- 清空takeList中的数据
- flush到HDFS的时候组容易出问题。flush到HDFS的时候,可能由于网络原因超时导致数据传输失败,这个时候调用
doRollback
方法来进行回滚,回滚的时候由于takeList 中还有备份数据,所以将takeList中的数据原封不动地还给channel,这时候就完成了事务的回滚。 - 但是,如果flush到HDFS的时候,数据flush了一半之后出问题了,这意味着已经有一半的数据已经发送到HDFS上面了,现在出了问题,同样需要调用
doRollback
方法来进行回滚,回滚并没有“一半”之说,它只会把整个takeList中的数据返回给channel,然后继续进行数据的读写。这样开启下一个事务的时候容易造成数据重复的问题。 - Flume在数据进行采集传输的时候,有可能会造成数据的重复,但不会丢失数据。
- Flume在数据传输的过程中是否可靠,还需要考虑具体使用Source、Channel、Sink的类型。
- 分析Source
- exec Source ,后面接
tail -f
,这个数据也是有可能丢的 - TailDir Source ,这个是不会丢数据的,它可以保证数据不丢失
- exec Source ,后面接
- 分析sink
- Hdfs Sink,数据有可能重复,但是不会丢失
- 最后,分析channel。理论上说:要想数据不丢失的话,还是要用 Filechannel;memory channel 在 Flume 挂掉的时候是有可能造成数据的丢失的。
进行回滚,回滚并没有“一半”之说,它只会把整个takeList中的数据返回给channel,然后继续进行数据的读写。这样开启下一个事务的时候容易造成数据重复的问题。- Flume在数据进行采集传输的时候,有可能会造成数据的重复,但不会丢失数据。
- Flume在数据传输的过程中是否可靠,还需要考虑具体使用Source、Channel、Sink的类型。
- 分析Source
- exec Source ,后面接
tail -f
,这个数据也是有可能丢的 - TailDir Source ,这个是不会丢数据的,它可以保证数据不丢失
- exec Source ,后面接
- 分析sink
- Hdfs Sink,数据有可能重复,但是不会丢失
- 最后,分析channel。理论上说:要想数据不丢失的话,还是要用 Filechannel;memory channel 在 Flume 挂掉的时候是有可能造成数据的丢失的。
- 如果使用 TailDir source 和 HDFS sink,所以数据会重复但是不会丢失
参考文档:
英文:https://flume.apache.org/FlumeUserGuide.html
中文1.9:https://flume.liyifeng.org/