简单理解Flume之Channel和Sink

于 2024-05-28 14:57:58 发布
阅读量704 收藏 14
点赞数 32
文章标签： flume 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_63130425/article/details/139261315
版权

Channel

Memory Channel

1，Memory Channel将数据临时存储的到内存队列

2，属性

属性

默认值解释
capacity100

队列容量，默认情况队列中最多临时存储100条数据，实际过程这个值一般被调节成30W~50W

transacCapacity100Put List向Channel发送的数据条数，实际中一般会调节成3000~5000

File Channel

1，File Channel将数据临时存储在磁盘文件，因此File Channel读写效率较低，但是可靠

a1.sources = s1
a1.channels = c1
a1.sinks = k1

a1.sources.s1.type = netcat
a1.sources.s1.bind = 0.0.0.0
a1.sources.s1.port = 6666

# 配置File Channel
a1.channels.c1.type = file
# 数据临时存储路径
a1.channels.c1.dataDirs = /opt/flume_data/data
# 检查点临时存储路径
a1.channels.c1.checkpointDir = /opt/flume_data/checkpoint

a1.sinks.k1.type = logger

a1.sources.s1.channels = c1
a1.sinks.k1.channel = c1

Sink

Logger Sink

1，Logger Sink：将Flume收集到的数据打印到控制台（console）或者文件(logfile)中

2，打印的时候为了防止过多数据将屏幕沾满，所以限制body部分只打印16个字节的数据，多出来的部分被舍弃

3，实际开发中，较少使用这个Sink

HDFS Sink

1，将数据收集到HDFS上

  

a1.sources = s1
a1.channels = c1
a1.sinks = k1

a1.sources.s1.type = netcat
a1.sources.s1.bind = 0.0.0.0
a1.sources.s1.port = 6666

a1.channels.c1.type = memory

# 配置HDFS Sink
a1.sinks.k1.type = hdfs
# 文件/数据在HDFS上的存储路径
a1.sinks.k1.hdfs.path = hdfs://hadoop01:8020/flume
# 文件滚动间隔时间
a1.sinks.k1.hdfs.rollInterval = 3600
# 文件滚动大小
a1.sinks.k1.hdfs.rollSize = 134217728
# 文件滚动条数
a1.sinks.k1.hdfs.rollCount = 1000000
# 文件类型
a1.sinks.k1.hdfs.fileType = DataStream

# 将Source和Channel绑定
a1.sources.s1.channels = c1
# 将Sink和Channel绑定
a1.sinks.k1.channel = c1

File Roll Sink

1，将Flume收集到的数据存储到本地磁盘

a1.sources = s1
a1.channels = c1
a1.sinks = k1

a1.sources.s1.type = netcat
a1.sources.s1.bind = 0.0.0.0
a1.sources.s1.port = 6666

a1.channels.c1.type = memory

# 配置File Roll Sink
a1.sinks.k1.type = file_roll
# 文件/数据在磁盘上的存储位置
a1.sinks.k1.sink.directory = /opt/flume_data
# 文件滚动间隔时间
a1.sinks.k1.sink.rollInterval = 3600

a1.sources.s1.channels = c1
a1.sinks.k1.channel = c1

Custom Sink

1，自定义Sink：当Flume提供的Sink不能满足业务需求的时候，此时就需要自定义Sink

2，自定义Sink和自定义Source的过程类似，需要定义一个类继承AbstractSink，实现Sink和Configurable接口

3，自定义Sink的时候需要注意事务问题

其他组件

Channel Selector

1，Channel Selector是Source的子组件之一，决定了数据的发送方式，即Source要把数据发送给哪个Channel

2，ChannelSelector提供了三种模式

  1. replicating：复制模式。当节点收到数据之后，会将这个数据复制之后分发给每一个节点，此时接收节点收到的数据是相同的

  2. multiplexing：路由模式。当节点收到数据之后，会根据这个数据的headers中的指定字段的值，来决定将数据发送给哪一个节点，此时接收节点的数据是不相同的

  3. load balancing：负载均衡模式。当节点收到数据之后，会及那个数据分发到某一个节点上，尽量保证接收节点之间的数据量是大致相等的。目前有两种负载均衡模式：round_robin(轮询)，random(随机)。到目前为止，Flume提供的load balancing不好用

3，在扇出结构中，如果不指定，默认使用是replicating模式

4，multiplexing模式

a1.sources = s1
a1.channels = c1 c2
a1.sinks = k1 k2

a1.sources.s1.type = http
a1.sources.s1.port = 8090
# 配置Selector
a1.sources.s1.selector.type = multiplexing
# 要监听的字段名
a1.sources.s1.selector.header = kind
# 字段值，根据字段值不同发送到不同的节点上
a1.sources.s1.selector.mapping.music = c1
a1.sources.s1.selector.mapping.video = c2
a1.sources.s1.selector.default = c2

a1.channels.c1.type = memory
a1.channels.c2.type = memory

a1.sinks.k1.type = avro
a1.sinks.k1.hostname = hadoop02
a1.sinks.k1.port = 8090

a1.sinks.k2.type = avro
a1.sinks.k2.hostname = hadoop03
a1.sinks.k2.port = 8090

a1.sources.s1.channels = c1 c2
a1.sinks.k1.channel = c1
a1.sinks.k2.channel = c2

Sink Processor

1，Sink Processor本质上是一个Sink Group（Sink 组），会将一个或多个Sink绑定到一个组，看作是一个整体

2，Sink Processor提供了三种模式

  1. default：默认模式，默认一个Sink就是一个组，有几个Sink就是几个Sink组

  2. failover：崩溃恢复模式。要求将多个Sink绑定到一个组中，给这个组中的每一个Sink需要指定一个优先级，当高优先级的Sink宕机，才会将数据发送给低优先级的Sink

  3. load_balancing：负载均衡模式。要求将多个Sink绑定到一个组中，实现数据的均衡，提供了两种方式：round_robin和random。目前Flume提供的原生的load_balancing模式不好用！！！

3，failover模式

a1.sources = s1
a1.channels = c1 c2
a1.sinks = k1 k2

# 给SinkGroup起名
a1.sinkgroups = g1
# 给这个SinkGroup绑定Sink
a1.sinkgroups.g1.sinks = k1 k2
# 指定SinkGroup的类型
a1.sinkgroups.g1.processor.type = failover
# 给每一个Sink指定优先级
a1.sinkgroups.g1.processor.priority.k1 = 5
a1.sinkgroups.g1.processor.priority.k2 = 2
# 指定等待时间
a1.sinkgroups.g1.processor.maxpenalty = 100000

a1.sources.s1.type = netcat
a1.sources.s1.bind = 0.0.0.0
a1.sources.s1.port = 8090

a1.channels.c1.type = memory
a1.channels.c2.type = memory

a1.sinks.k1.type = avro
a1.sinks.k1.hostname = hadoop02
a1.sinks.k1.port = 8090

a1.sinks.k2.type = avro
a1.sinks.k2.hostname = hadoop03
a1.sinks.k2.port = 8090

a1.sources.s1.channels = c1 c2
a1.sinks.k1.channel = c1
a1.sinks.k2.channel = c2

Interceptors

1，Interceptors本身已是Source的组件之一，可以对数据进行修改，并且每一个Source上可以添加多个Interceptor，构成拦截器链

2，Timestamp Interceptor：时间戳拦截器，在Event的headers中添加一个timestamp字段，用于标记数据被收集的时间

a1.sources = s1
a1.channels = c1
a1.sinks = k1

a1.sources.s1.type = netcat
a1.sources.s1.bind = 0.0.0.0
a1.sources.s1.port = 6666
# 给Interceptor起名
a1.sources.s1.interceptors = i1
# 配置Timestamp Interceptor
a1.sources.s1.interceptors.i1.type = timestamp

a1.channels.c1.type = memory

a1.sinks.k1.type = logger

a1.sources.s1.channels = c1
a1.sinks.k1.channel = c1

关键校验
关注
Flume的channel和sink.docx
05-16
在Flume中，数据流动的核心组件是`Source`、`Channel`和`Sink`。 **Channel**是Flume中的中介存储，它在Source和Sink之间提供缓冲。以下是几种常见的Channel类型： 1. **Memory Channel**：将事件存储在内存中，...
Flume之 各种 Channel 的介绍及参数解析
weixin_40727028的博客
04-06 6945
一、Channel介绍 Channel被设计为Event中转临时缓冲区，存储Source收集并且没有被Sink读取的Event，为平衡Source收集和Sink读取数据的速度，可视为Flume内部的消息队列。Channel线程安全并且具有事务性，支持source写失败重复写和sink读失败重复读等操作。 常用的Channel类型有Memory Channel、File Channel、KafkaChannel等。 1、Memory Channel 对比Channel, Memory Channel读写速度快
Flume的Channel分类
围城客的专栏
11-13 6584
channel可以理解为一种临时的存储，source将event放入channel ,sink取走它。flume提供了四种可以用于生产环境的channel。 1.Memory Channel 基于内存的channel，实际就是将event存放于内存中一个固定大小的队列中。其优点是速度快，缺点是可能丢失数据。 可配置属性如下： 属性 默认 说明 type – 这里为...
flume 的Channel的种类
wuhahaq的博客
04-19 869
下游数据传输使⽤的是Kafka作为消息队列来传输消息，使⽤Kafka的主要原因是因为Kafka的⾼吞吐量以及可以对数据进⾏分类也就是不同的topic，⽅便下⼀层的使⽤，整体的架构是采⽤Lamda架构设计的，实时和离线都会从Kafka中获取数据来进⾏处理,⽽且还有其他的业务线也是从Kafka中获取数据的,这样做以后可以有效的提⾼数据的复⽤减少数据的冗余。主要是为了对接Kafka，使⽤这个可以节省Sink组件也可以提升效率的，我们项⽬中使⽤的就是这个Channel，因为下⼀层是使⽤Kafka来传递消息的。
【Flume】常用Source、Channel、sink组件类型选型
y215204的博客
10-15 749
Taildir Source适合用于监听多个实时追加的文件，并且能够实现断点续传 taildir维护了一个json格式的positionFile,其会定期往positionFile中更新每个文件读取到的最新位置，因此能够实现断点续传。如果您有多个 Kafka 源在运行，您可以使用相同的 Consumer Group 配置它们，以便每个都读取一组唯一的主题分区。：event保存在本地文件中，可靠性高，数据可以恢复，但吞吐量低于Memory Channel，即速度没有相对比较慢。：可以将命令产生的输出作为源。
06_Flume之各种Channel的介绍及参数解析
weixin_40727028的博客
04-15 924
Channel被设计为Event中转临时缓冲区，存储Source收集并且没有被Sink读取的Event，为平衡Source收集和Sink读取数据的速度，可视为Flume内部的消息队列。Channel线程安全并且具有事务性，支持source写失败重复写和sink读失败重复读等操作。常用的Channel类型有Memory Channel、File Channel、KafkaChannel等。Channel类型说明基于内存的channel，实际就是将event存放于内存中一个固定大小的队列中。
flume batchsize transactionCapacity capacity的简单理解
01-20
Channel是Flume内部的数据缓冲区，它负责在Source和Sink之间存储事件（数据）。设置较大的batchSize可以提高数据传输效率，因为Flume会尽量一次性处理更多的事件，减少了与Channel交互的次数。然而，如果batchSize...
Flume配置双HA hdfsSink.docx
06-17
2. **提取关键组件**：从Flume源码包中提取关键的Java类，这些类位于`apache-flume-1.8.0-src/flume-ng-sinks/flume-hdfs-sink/src/main/java/org/apache/flume/sink/hdfs/`目录下，主要包括`BucketWriter`和`...
flume定制化sink
04-17
flume定制化sink，用于参考，使用了多线程及读取配置文件的技术
01.flume中的sink-batchsize和channel的transactionCapacity大小之间的注意点.mp4
04-28
01.flume中的sink-batchsize和channel的transactionCapacity大小之间的注意点.mp4
大数据-Flume(一)：日志收集系统【将应用产生的日志数据发送到Kafka/HDFS/HBase】【Source(上游)--Channel(缓冲区)--＞Sink(下游)】【基于CentOS6】
u013250861的博客
01-12 1842
一、Flume安装 1、在hadoop102服务器上安装 2、将Flume目录、环境变量文件分发到hadoop101、hadoop103上 二、编写Agent的配置文件 三、Flume的使用 1、Agent01(netcatsource)：监听某个tcp端口手动的数据，然后将数据输出到控制台 1.1 Agent01配置文件：netcatsource-loggersink.conf 1.2 启动 Agent01 2、Agent02(execsource)：实时监控单个本机文件的内容，将内容写入到HDFS 2.
Flume入门
qq_54070501的博客
06-16 348
Flume
2-Flume之Sink与Channel
m0_73450879的博客
03-25 1386
自定义Sink的时候，需要定义一个类继承，实现Sink接口，最好还要实现接口来获取配置。注意，自定义Sink的过程中，需要关注事务问题。依赖和笔记1中用的一样。//打印流，打印到文件或者Flume的窗口。sout调用的就是这个类中的方法@Override//从flume中的格式文件中获取路径信息@Overrideif(!Event e;
netty学习之ChannelSink(NioClientSocketPipelineSink)
勤奋的asialee的博客
01-14 408
       这个东西应该是netty里面最难理解的，或者最关键的组件了，这个我会慢慢的进行分析。在Pipeline传送完后，都必须都通ChannelSink进行处理。Sink默认处理了琐碎的操作，例如连接、读写等等。          ChannelSink这个组件是来处理downstream请求和产生upstream时间的一个组件，是所有io操作的执行者。也就是传输的逻辑层吧。当chan...
flume学习笔记
Fqzzzzz的博客
11-18 1575
尚硅谷flume笔记整理前言定义为什么用flume基础架构source种类文件追加模式的问题解决事务agent内部原理拓扑结构复制和多路复用负载均衡或故障转移聚合退避机制轮询根据头信息发送事务事务源码回滚数据重复数据丢失空间不足附录 前言 感谢尚大学，笔记里的图片都是截取自尚硅谷的课件。这份博客也是自己的学习总结 定义 Flume 是 Cloudera 提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统。Flume 基于流式架构，灵活简单。 为什么用flume flume可以进行实时的采
Flume笔记 —— 几种常见的source，channel，sink配置文件以及相关用法
一纸春秋的博客
12-09 7471
目录概念与官方文档监听文件目录数据变更，输出到控制台拦截器source监听文件目录，sink输出到hdfs将hbase日志信息写入hdfssource监听netcat端口，sink写入控制台 概念与官方文档 flume是一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统。 Flume系统中核心的角色是agent，agent本身是一个Java进程，一般运行在日志收集节点。 一个agent内部有三个组件： Source：采集源，用于跟数据源对接，以获取数据； Channel：agent内部的数据传输通
大数据——Flume组件Source、Channel和Sink具体使用
蜂蜜柚子加苦茶
12-14 2532
Flume组件Source、Channel和Sink使用说明Flume SourcesAvro Source配置范例Thrift Source配置范例Exec Source配置范例JMS Source关于转化器配置范例Spoolinng Directory Source配置范例Event反序列化器Taildir Source配置范例Twitter 1% firehose Source（实验性）配置范例Kafka Source配置范例NetCat TCP Source配置范例NetCat UDP Source
Flume单Channel多Sink配置
Aurora Silent
07-07 7302
多sink可以直接按常规配置，这样的话每个sink会启动一个sinkrunner，相当于每个线程一个sink，互不干扰，负载均衡是通过channel实现的，效率会提高为n倍，如果在此基础上加入sinkgroup，则sinkgroup会启动一个sinkrunner,就是单线程，sinkgroup从channel中读取数据，然后分发到下面挂载的sink中，效率和单sink一样，没有提高，但是可以实现两个
Flume的Source，Sink，Channel的作用？你们Source是什么类型？
最新发布
weixin_42435657的博客
05-14 303
根据Flume的架构原理，Flume是不可能丢失数据的，其内部有完善的事务机制，Source到Channel是事务性的，Channel到Sink是事务性的，因此这两个环节不会出现数据的丢失，唯一可能丢失数据的情况是Channel采用memoryChannel，agent宕机导致数据丢失，或者Channel存储数据已满，导致Source不再写入，未写入的数据丢失。增加Source个（使用Tair Dir Source时可增加FileGroups个数）可以增大Source的读取数据的能力。
Flume通道与接收器详解：Memory Channel、File Channel、HDFS Sink等
本文重点讨论了Flume中的两个关键组件——Channel和Sink，以及相关的配置和使用场景。" Flume的Channel是事件(Event)的存储区域，它在Source与Sink之间起到缓冲作用。Channel可以是内存型、文件型或数据库型，每种...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值