数据采集工具Flume高级特性

已于 2024-01-16 13:26:03 修改
阅读量548 收藏
点赞数 1
文章标签： java hadoop 服务器 大数据 flume
于 2021-09-14 23:17:20 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_43408367/article/details/120298684
版权

文章目录

Flume——拦截器

  1. Flume支持在运行时对event进行修改或丢弃，通过拦截器来实现；
  2. Flume里面的拦截器是实现了org.apache.flume.interceptor.Interceptor 接口的类；拦截器可以根据配置 修改 甚至 丢弃 event；
  3. Flume也支持链式的拦截器执行方式，在配置文件里面配置多个拦截器就可以了；拦截器的顺序取决于它们配置的顺序，Event 按照顺序经过每一个拦截器；

时间添加戳拦截器

  1. 这个拦截器会向每个event的header中添加一个时间戳属性进去，key默认是“timestamp ”（也可以通过下面表格中的header来自定义），value就是当前的毫秒值（其实就是用System.currentTimeMillis()方法得到的）。如果event已经存在同名的属性，可以选择是否保留原始的值。

    属性默认值解释
    type-timestamp
    headertimestamp向event header中添加时间戳键值对的key
    preserveExistingfalse是否保留event header中已经存在的同名（上面header设置的key，默认是timestamp）时间戳

  2. 增加时间拦截器的配置：timestamp.conf

    # Name the components on this agent
a1.sources = r1
a1.sinks = k1
a1.channels = c1
# configure the source
a1.sources.r1.type = netcat
a1.sources.r1.bind = 192.168.88.123 // 阿里云内网IP，公网，内网不要混着用
a1.sources.r1.port = 8888
# 这部分是新增 时间拦截器的 内容
a1.sources.r1.interceptors = i1
a1.sources.r1.interceptors.i1.type = timestamp
# 是否保留Event header中已经存在的同名时间戳，缺省值false
a1.sources.r1.interceptors.i1.preserveExisting= false
# 这部分是新增 时间拦截器的 内容
# Describe the sink
a1.sinks.k1.type = logger
# Use a channel which buffers events in memory
a1.channels.c1.type = memory
a1.channels.c1.capacity = 10000
a1.channels.c1.transactionCapacity = 500
# Bind the source and sink to the channel
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1

  3. 启动Agent，启动 telnet 输入信息

    [root@linux123 conf]# $FLUME_HOME/bin/flume-ng agent --name a1 \
> --conf-file ~/conf/timestamp.conf \
> -Dflume.root.logger=INFO,console

  4. 启动 telnet 输入信息，可以看见 event header 中出现了时间戳信息。

23/01/10 15:42:16 INFO sink.LoggerSink: Event: { headers:{timestamp=1673336536506} body: 68 65 6C 6C 6F 20 77 6F 72 6C 64 0D             hello world. }

Host添加拦截器

  1. Host添加拦截器会把当前Agent的 hostname 或者 IP 地址写入到Event的header中，key默认是“host”（也可以通过配置自定义key），value可以选择使用hostname或者IP地址

    属性默认值解释
    type-组件类型，这个是：host
    preserveExistingfalse如果header中已经存在同名的属性是否保留
    userIPtrueture:如果使用IP地址；false:使用hostname
    hostHeaderhost向Event header中添加host键值对的key

  2. host添加拦截器：hostname.conf

    # Name the components on this agent
a1.sources = r1
a1.sinks = k1
a1.channels = c1
# configure the source
a1.sources.r1.type = netcat
a1.sources.r1.bind = 192.168.88.123
a1.sources.r1.port = 8888
# 这部分是新增 时间拦截器 的内容
a1.sources.r1.interceptors = i1 i2
a1.sources.r1.interceptors.i1.type = timestamp
a1.sources.r1.interceptors.i1.preserveExisting= false
# 这部分是新增 时间拦截器 的内容

# 这部分是新增 主机名拦截器 的内容
a1.sources.r1.interceptors.i2.type = host
# 如果header中已经存在同名的属性是否保留
a1.sources.r1.interceptors.i2.preserveExisting= false
# true：使用IP地址；false：使用hostname
a1.sources.r1.interceptors.i2.useIP = false
# 这部分是新增 主机名拦截器 的内容

# Describe the sink
a1.sinks.k1.type = logger

# Use a channel which buffers events in memory
a1.channels.c1.type = memory
a1.channels.c1.capacity = 10000
a1.channels.c1.transactionCapacity = 500
# Bind the source and sink to the channel
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1

  3. 启动Agent，启动 telnet 输入信息,可以看见event headers 中 增加了主机名信息、时间戳信息。

    23/01/10 15:59:12 INFO sink.LoggerSink: Event: { headers:{host=192.168.88.123, timestamp=1673337552974} body: 68 65 6C 6C 6F 20 77 6F 72 6C 64 0D             hello world. }

Flume——选择器

  1. source可以向多个channel同时写数据，所以也就产生了以何种方式向多个channel写的问题：
    1. replication(复制，默认)。数据完整地发送到每一个channel；
    2. multiplexing（多路复用）。通过配置来按照一定的规则进行分发；

复制选择器：默认的选择器

属性默认值解释
selector.typereplicatingreplicating
selector.optional-指定哪些channel是可选的，多个用空格分开
a1.sources = r1
a1.channels = c1 c2 c3
a1.sources.r1.selector.type = replicating
a1.sources.r1.channels = c1 c2 c3
a1.sources.r1.selector.optional = c3

例如：上面这段配置中，c3配置成了可选的。向c3发送数据如果失败了会被忽略。c1和c2没有配置成可选的，向c1和c2写数据失败会导致事务失败回滚。

多路复用选择器

属性默认值解释
selector.typereplicating组件类型，这个是： multiplexing
selector.headerflume.selector.header想要进行匹配的header属性的名字
selector.default–指定一个默认的channel。如果没有被规则匹配到，默认会发到这个channel上
selector.mapping.*–一些匹配规则，具体参考下面的例子

配置范例

a1.sources = r1
a1.channels = c1 c2 c3 c4
a1.sources.r1.selector.type = multiplexing
a1.sources.r1.selector.header = state        #以每个Event的header中的state这个属性的值作为选择channel的依据
a1.sources.r1.selector.mapping.CZ = c1       #如果state=CZ，则选择c1这个channel
a1.sources.r1.selector.mapping.US = c2 c3    #如果state=US，则选择c2 和 c3 这两个channel
a1.sources.r1.selector.default = c4          #默认使用c4这个channe

Flume——Sink组逻辑处理器

  1. 可以把多个sink分成一个组， Sink组逻辑处理器可以对这同一个组里的几个sink进行负载均衡或者其中一个sink发生故障后将输出Event的任务转移到其他的sink上。
  2. N个sink将Event输出到对应的N个目的地的，通过 Sink组逻辑处理器可以把这N个sink配置成负载均衡或者故障转移的工作方式：
    1. 负载均衡是将channel里面的Event，按照配置的负载机制（比如轮询）分别发送到sink各自对应的目的地
    2. 故障转移是这N个sink同一时间只有一个在工作，其余的作为备用，工作的sink挂掉之后备用的sink顶上
属性默认值解释
sinks-这一组的所有sink名，多个用空格分开
processor.typedefault这个sink组的逻辑处理器类型，可选值 default （默认一对一的） 、 failover （故障转移） 、load_balance （负载均衡）
a1.sinkgroups = g1
a1.sinkgroups.g1.sinks = k1 k2
a1.sinkgroups.g1.processor.type = load_balance

默认的组逻辑处理器就是只有一个sink的情况，这种情况就没必要配置sink组了。前面的例子都是 source - channel - sink这种一对一，单个sink的。

故障转移

  1. 故障转移组逻辑处理器维护了一个发送Event失败的sink的列表，保证有一个sink是可用的来发送Event。
  2. 故障转移机制的工作原理是将故障sink降级到一个池中，在池中为它们分配冷却期（超时时间），在重试之前随顺序故障而增加。 Sink成功发送事件后，它将恢复到实时池。sink具有与之相关的优先级，数值越大，优先级越高。 如果在发送Event时Sink发生故障，会继续尝试下一个具有最高优先级的sink。 例如，在优先级为80的sink之前激活优先级为100的sink。如果未指定优先级，则根据配置中的顺序来选取。
  3. 要使用故障转移选择器，不仅要设置sink组的选择器为failover，还有为每一个sink设置一个唯一的优先级数值。 可以使用 maxpenalty 属性设置故障转移时间的上限（毫秒）。
属性默认值解释
sinks–这一组的所有sink名，多个用空格分开
processor.typedefault组件类型，这个是： failover
processor.priority.-组内sink的权重值，必须是当前组关联的sink之一。数值越大越被优先使用
processor.maxpenalty30000发生异常的sink最大故障转移时间（毫秒）

配置范例：

a1.sinkgroups = g1
a1.sinkgroups.g1.sinks = k1 k2
a1.sinkgroups.g1.processor.type = failover
a1.sinkgroups.g1.processor.priority.k1 = 5
a1.sinkgroups.g1.processor.priority.k2 = 10
a1.sinkgroups.g1.processor.maxpenalty = 10000

负载均衡

  1. 负载均衡Sink 选择器提供了在多个sink上进行负载均衡流量的功能。 它维护一个活动sink列表的索引来实现负载的分配。 支持轮询（ round_robin ）【默认值】和随机（ random ）两种选择机制分配负载。
  2. 工作时，负载均衡Sink 选择器使用其配置的选择机制选择下一个sink并调用它。 如果所选sink无法正常工作，则处理器通过其配置的选择机制选择下一个可用sink。 此实现不会将失败的Sink列入黑名单，而是继续乐观地尝试每个可用的Sink.。
  3. 如果所有sink调用都失败了，选择器会将故障抛给sink的运行器。如果 backoff 设置为true则启用了退避机制，失败的sink会被放入黑名单，达到一定的超时时间后会自动从黑名单移除。
  4. 如从黑名单出来后sink仍然失败，则再次进入黑名单而且超时时间会翻倍，以避免在无响应的sink上浪费过长时间。
  5. 如果没有启用退避机制，在禁用此功能的情况下，发生sink传输失败后，会将本次负载传给下一个sink继续尝试，因此这种情况下是不均衡的。

在这里插入图片描述

a1.sinkgroups = g1
a1.sinkgroups.g1.sinks = k1 k2
a1.sinkgroups.g1.processor.type = load_balance
a1.sinkgroups.g1.processor.backoff = true
a1.sinkgroups.g1.processor.selector = random

Flume——事务机制与可靠性

  1. 事务一个典型的特征就是将一批操作做成原子性的，要么都成功，要么都失败。
  2. 在Flume中一共有两个事务：
    1. Put事务。在Source到Channel之间
    2. Take事务。Channel到Sink之间
  3. 从 Source 到 Channel 过程中，数据在 Flume 中会被封装成 Event 对象，也就是一批 Event ，把这批 Event 放到一个事务中，把这个事务也就是这批event一次性的放入Channel 中。同理，Take事务的时候，也是把这一批event组成的事务统一拿出来到sink放到HDFS上。

Flume中的 Put 事务

  1. 事务开始的时候会调用一个 doPut 方法， doPut 方法将一批数据放在putList中；
    1. putList在向 Channel 发送数据之前先检查 Channel 的容量能否放得下，如果放不下一个都不放，只能doRollback；
    2. 数据批的大小取决于配置参数 batch size 的值；
    3. putList的大小取决于配置 Channel 的参数 transaction capacity 的大小，该参数大小就体现在putList上；（Channel的另一个参数 capacity 指的是 Channel 的容量）；
  2. 数据顺利的放到putList之后，接下来可以调用 doCommit 方法，把putList中所有的 Event 放到 Channel 中，成功放完之后就清空putList；

在doCommit提交之后，事务在向 Channel 存放数据的过程中，事务容易出问题。如 Sink取数据慢，而 Source 放数据速度快，容易造成 Channel 中数据的积压，如果 putList 中的数据放不进去，会如何呢？

  1. 此时会调用 doRollback 方法，doRollback方法会进行两项操作：将putList清空；抛出 ChannelException异常。source会捕捉到doRollback抛出的异常，然后source就将刚才的一批数据重新采集，然后重新开始一个新的事务，这就是事务的回滚。

Flume中的 Take 事务

  1. Take事务同样也有takeList，HDFS sink配置有一个 batch size，这个参数决定 Sink从 Channel 取数据的时候一次取多少个，所以该 batch size 得小于 takeList 的大小，而takeList的大小取决于 transaction capacity 的大小，同样是channel 中的参数。

在这里插入图片描述
Take事务流程：事务开始后：

  1. doTake方法会将channel中的event剪切到takeList中。如果后面接的是HDFS Sink的话，在把Channel中的event剪切到takeList中的同时，也往写入HDFS的IO缓冲流中放一份event(数据写入HDFS是先写入IO缓冲流然后flush到HDFS）；
  2. 当takeList中存放了batch size 数量的event之后，就会调用doCommit方法，doCommit方法会做两个操作：
    1. 针对HDFS Sink，手动调用IO流的flush方法，将IO流缓冲区的数据写入到HDFS磁盘中；
    2. 清空takeList中的数据

flush到HDFS的时候组容易出问题。flush到HDFS的时候，可能由于网络原因超时导致数据传输失败，这个时候调用doRollback方法来进行回滚，回滚的时候由于takeList 中还有备份数据，所以将takeList中的数据原封不动地还给channel，这时候就完成了事务的回滚。

如果flush到HDFS的时候，数据flush了一半之后出问题了，这意味着已经有一半的数据已经发送到HDFS上面了，现在出了问题，同样需要调用doRollback方法来进行回滚，回滚并没有“一半”之说，它只会把整个takeList中的数据返回给channel，然后继续进行数据的读写。这样开启下一个事务的时候容易造成数据重复的问题。

Flume在数据进行采集传输的时候，有可能会造成数据的重复，但不会丢失数据。

Flume在数据传输的过程中是否可靠，还需要考虑具体使用Source、Channel、Sink的类型。

Source：

  1. exec Source ，后面接 tail -f ，这个数据也是有可能丢的
  2. TailDir Source ，这个是不会丢数据的，它可以保证数据不丢失

sink

  1. Hdfs Sink，数据有可能重复，但是不会丢失

channel：理论上说：要想数据不丢失的话，还是要用 File channel；memory channel 在 Flume 挂掉的时候是有可能造成数据的丢失的。

如果使用 TailDir source 和 HDFS sink，所以数据会重复但是不会丢失

Flume特点
weixin_34220834的博客
11-30 124
    Flume 特点　　1、可靠性 　　　　当节点出现故障时，日志能够被传送到其他节点上而不会丢失。 　　　　Flume提供了三种级别的可靠性保障，从强到弱依次分别为： 　　　　(1)  end-to-end（收到数据agent首先将event写到磁盘上，当数据传送成功后，再删除；如果数据发送失败，可以重新发送。）， 　　　　(2)  Store on failure（这也是scrib...
Flume的特性
Fishman113的博客
12-15 1338
Flume的特性 可靠性：事务型的数据传递，保证数据的可靠性。一个日志交给flume来处理，不会出现此日志丢失或未被处理的情况 ； 消息（批量）通过每个Agent的channel，然后发送给下一个Agent或者最终的存储平台。只有当下一个agent或者最终的存储平台接收并保存后，才会从Channel中移除。这也是Flume（单跳，single-hop）传送语义中如何提供端对端的数据流可靠性的...
大数据采集工具——Flume简介&安装配置&使用教程
最新发布
牧夏的个人博客
07-23 1362
Flume简介&安装配置&使用教程 1、Flume简介 一：概要 Flume 是一个可配置、可靠、高可用的大数据采集工具，主要用于将大量的数据从各种数据源（如日志文件、数据库、本地磁盘等）采集到数据存储系统（主要为Hadoop HDFS）中，用来处理日志数据，并支持在数据流中可靠、高效地移动数据。 二：Flume的基础架构 详细讲解： Flume主要由三部分组成：Source，Channel，Sink。 1.Source：负责接收数据至 Flume Agent 组件中【入口】
黑猴子的家：Flume特点
黑猴子的博客
09-12 440
Flume是一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统。支持在日志系统中定制各类数据发送方，用于收集数据;同时，Flume提供对数据进行简单处理，并写到各种数据接受方(比如文本、HDFS、Hbase等)的能力 。 Flume的数据流由事件(Event)贯穿始终。事件是Flume的基本数据单位，它携带日志数据(字节数组形式)并且携带有头信息，这些Event由Agent外部的Sour...
大数据Flume特性
赵广陆
11-25 566
目录1 Flume 事务2 Flume Agent 内部原理3 Flume 拓扑结构3.2 复制和多路复用3.3 负载均衡和故障转移3.4 聚合 1 Flume 事务 2 Flume Agent 内部原理 重要组件： 1 1 ） ChannelSelector ChannelSelector 的作用就是选出 Event 将要被发往哪个 Channel。其共有两种类型，分别是 Replicating（复制）和 Multiplexing（多路复用）。ReplicatingSelector 会将同一个 Ev
flume采集的一些特性
一只没有脚的鸟
08-17 786
以flume1.5.2为例，flume采集的基本功能有如下几点： Source类型 说明 Avro Source 支持Avro协议（实际上是Avro RPC），内置支持 Thrift Source 支持Thrift协议，内置支持 Exec Source 基于Unix的command在标准输出上生产数据
大数据工程师入门系列 - 常用数据采集工具（Flume、Logstash 和 Fluentd）
weixin_44433834的博客
08-10 2513
作者：幻好 来源： 恒生LIGHT云社区 ...
大数据采集技术-Flume监控日志到HDFS.pptx
12-23
8. **高级特性**：Flume还支持动态配置更新、数据分片、数据过滤和转换等功能，可以根据需求进行更复杂的配置。 通过以上步骤，我们可以实现Flume对Hive日志的实时监控和传输到HDFS，为后续的大数据分析提供...
8、Flume 日志采集工具
KamRoseLee的博客
11-15 1631
一、Flume 基本概念 Flume 是流式日志采集工具，Flume 提供对数据进行简单处理并且写到各种数据接受方（可定制）的能力，Flume 提供从本地文件（spooldirectorysource)、实时日志（taildir、exec)、REST 消息、Thrift、Avro、Syslog、Kafka 等数据源上收集数据的能力。 Flume 适用场景：应用系统产生的日志采集，采集后的数据供...
3.2.4 数据交互工具 -- HUE、数据采集工具 -- Flume
weixin_47134119的博客
02-07 1288
文章目录数据交互工具 -- HUE第一部分 Hue概述第二部分 Hue编译安装2.1、下载软件包2.2、安装依赖2.3、安装Maven2.4、编译2.5、修改 Hadoop 配置文件2.6、Hue配置2.7、启动 Hue 服务第三部分 Hue整合Hadoop、Hive3.1 集成HDFS、YARN3.2 集成Hive3.3 集成MySQL3.4 重启Hue服务数据采集工具 -- Flume第一部分 Flume概述第 1 节 Flume的定义第 2 节 Flume体系结构Flume架构中的组件第 3 节 F.
Flume01：Flume介绍、应用场景、特性、三大组件
weixin_40612128的博客
03-03 3359
一、什么是Flume 先来看一下官方解释 Flume是一个高可用，高可靠，分布式的海量日志采集、聚合和传输的系统，能够有效的收集、聚合、移动大量的日志数据。 其实通俗一点来说就是Flume是一个很靠谱，很方便、很强的日志采集工具。 他是目前大数据领域数据采集最常用的一个框架 为什么它这么香呢？ 主要是因为使用Flume采集数据不需要写一行代码，注意是一行代码都不需要，只需要在配置文件中随便写几行配置Flume就会死心塌地的给你干活了，是不是很香？ 看这个图，这个属于Flume的一个非常典型的应用场景，使用F
Flume 概念、模型和特点
weixin_34050519的博客
08-12 163
Flume Event - Flume 事件 - 被定义为一个具有有效荷载的字节数据流和可选的字符串属性集。 Flume Agent- Flume - 代理 - 是一个进程承载从外部源事件流到下一个目的地的过程。 Source - 数据源 - 消耗外部传递给他的事件，外部源将数据按照Flume Source 能识别的格式将Flume 事件发送给Flume Source Channel...
【ETL工具】Flume 入门案例实战
康师傅没有眼泪
11-14 1834
Flume 的核心是把数据从数据源(source)收集过来，再将收集到的数据送到 指定的目的地(sink)。但是以上的这些拦截器，不能改变原有日志数据的内容或者对 日志信息添加一定的处理逻辑，当一条日志信息有几十个甚至上百个字段的时候， 在传统的 Flume 处理下，收集到的日志还是会有对应这么多的字段，也不能对你 想要的字段进行对应的处理。同个节点内，Source写入数据到Channel,数据在一个批次内的数据出现异常，则不写入到Channel，已接收到的部分数据直接抛弃，靠上一个节点重发数据。
Flume入门--万字详解 【持续更新中】
qq_73181349的博客
04-22 1136
Flume基础架构、安装部署、入门案例、断点续传源码修改
Flume 拦截器概念及自定义拦截器的运用
JIE的博客 --- moon_coder
04-04 1662
位于 Source 与 Channel 之间，在写入Channel 之前，拦截器可以对数据进行转换、提取或删除，以满足特定的需求。拦截器可以用于监控数据流的运行情况，记录日志信息或统计数据流中的事件数量、处理速率等指标，帮助用户进行性能分析和故障排查。在 Flume 中，拦截器（Interceptors）是一种可以在事件传输过程中拦截、处理和修改事件的组件。例如，可以添加时间戳、主机信息、标签等，以丰富事件数据的内容。Flume 拦截器就是起到这样的效果，对数据进行处理、转换、删除等操作，是不是很简单呀。
flume拦截器
热门推荐
jinYwuM的博客
09-11 1万+
摘要: 拦截器是简单的插件式组件，设置在source和channel之间。source接收到的时间，在写入channel之前，拦截器都可以进行转换或者删除这些事件。每个拦截器只处理同一个source接收到的事件。可以自定义拦截器。 flume内置了很多拦截器，并且会定期的添加一些拦截器，在这里列出一些flume内置的，经常使用的拦截器。 一、拦截器的种类介绍 1、Timestamp Int...
10_Flume之拦截器
weixin_40727028的博客
04-15 309
Inteceptor主要用来对event进行过滤和修改，Interceptor可以将处理结果传递给下一个Interceptor从而形成InterceptorChain。多个Interceptor在配置文件中以空格分隔，拦截器的顺序就是event处理的顺序，只有一个拦截器通过之后才会进行到下一个拦截器。Inteceptor相关源码在flume-ng-core的org.apache.flume.interceptor下。环境：Java - Maven pom.xml--此工具会将全部依赖打包--> <!
通俗易懂的Flume升级版教程（含配套资料）
08-29
Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统。Flume基于流式架构，灵活简单。是大数据大数据开发工程师必须会的框架之一。在本课程中，你将学习到，Flume架构原理、安装配置、拓扑结构、使用Flume搭建监控端口采集数据、监控本地(或HDFS)文件(或文件夹)采集数据、多数据源采集数据、多数据出口收集日志、Flume负载均衡以及对于Flume的监控Ganglia的运用。更新：课件升级、Flume中的事务、Flume故障转移、自定义组件Source和Sink
Flume大数据日志采集实战教程
教程涵盖了Flume的入门到高级应用，包括快速入门、核心概念解析、企业级实践、自定义组件创建、监控等多个方面，旨在帮助学习者掌握这一重要的大数据日志采集工具。" Flume，作为Apache Hadoop生态中的一个关键组件...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值