简单理解Flume之Channel和Sink

最新推荐文章于 2024-07-20 10:23:02 发布
最新推荐文章于 2024-07-20 10:23:02 发布
阅读量648 收藏 14
点赞数 32
文章标签： flume 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_63130425/article/details/139261315
版权

Channel

Memory Channel

1，Memory Channel将数据临时存储的到内存队列

2，属性

属性

默认值解释
capacity100

队列容量，默认情况队列中最多临时存储100条数据，实际过程这个值一般被调节成30W~50W

transacCapacity100Put List向Channel发送的数据条数，实际中一般会调节成3000~5000

File Channel

1，File Channel将数据临时存储在磁盘文件，因此File Channel读写效率较低，但是可靠

a1.sources = s1
a1.channels = c1
a1.sinks = k1

a1.sources.s1.type = netcat
a1.sources.s1.bind = 0.0.0.0
a1.sources.s1.port = 6666

# 配置File Channel
a1.channels.c1.type = file
# 数据临时存储路径
a1.channels.c1.dataDirs = /opt/flume_data/data
# 检查点临时存储路径
a1.channels.c1.checkpointDir = /opt/flume_data/checkpoint

a1.sinks.k1.type = logger

a1.sources.s1.channels = c1
a1.sinks.k1.channel = c1

Sink

Logger Sink

1，Logger Sink：将Flume收集到的数据打印到控制台（console）或者文件(logfile)中

2，打印的时候为了防止过多数据将屏幕沾满，所以限制body部分只打印16个字节的数据，多出来的部分被舍弃

3，实际开发中，较少使用这个Sink

HDFS Sink

1，将数据收集到HDFS上

  

a1.sources = s1
a1.channels = c1
a1.sinks = k1

a1.sources.s1.type = netcat
a1.sources.s1.bind = 0.0.0.0
a1.sources.s1.port = 6666

a1.channels.c1.type = memory

# 配置HDFS Sink
a1.sinks.k1.type = hdfs
# 文件/数据在HDFS上的存储路径
a1.sinks.k1.hdfs.path = hdfs://hadoop01:8020/flume
# 文件滚动间隔时间
a1.sinks.k1.hdfs.rollInterval = 3600
# 文件滚动大小
a1.sinks.k1.hdfs.rollSize = 134217728
# 文件滚动条数
a1.sinks.k1.hdfs.rollCount = 1000000
# 文件类型
a1.sinks.k1.hdfs.fileType = DataStream

# 将Source和Channel绑定
a1.sources.s1.channels = c1
# 将Sink和Channel绑定
a1.sinks.k1.channel = c1

File Roll Sink

1，将Flume收集到的数据存储到本地磁盘

a1.sources = s1
a1.channels = c1
a1.sinks = k1

a1.sources.s1.type = netcat
a1.sources.s1.bind = 0.0.0.0
a1.sources.s1.port = 6666

a1.channels.c1.type = memory

# 配置File Roll Sink
a1.sinks.k1.type = file_roll
# 文件/数据在磁盘上的存储位置
a1.sinks.k1.sink.directory = /opt/flume_data
# 文件滚动间隔时间
a1.sinks.k1.sink.rollInterval = 3600

a1.sources.s1.channels = c1
a1.sinks.k1.channel = c1

Custom Sink

1，自定义Sink：当Flume提供的Sink不能满足业务需求的时候，此时就需要自定义Sink

2，自定义Sink和自定义Source的过程类似，需要定义一个类继承AbstractSink，实现Sink和Configurable接口

3，自定义Sink的时候需要注意事务问题

其他组件

Channel Selector

1，Channel Selector是Source的子组件之一，决定了数据的发送方式，即Source要把数据发送给哪个Channel

2，ChannelSelector提供了三种模式

  1. replicating：复制模式。当节点收到数据之后，会将这个数据复制之后分发给每一个节点，此时接收节点收到的数据是相同的

  2. multiplexing：路由模式。当节点收到数据之后，会根据这个数据的headers中的指定字段的值，来决定将数据发送给哪一个节点，此时接收节点的数据是不相同的

  3. load balancing：负载均衡模式。当节点收到数据之后，会及那个数据分发到某一个节点上，尽量保证接收节点之间的数据量是大致相等的。目前有两种负载均衡模式：round_robin(轮询)，random(随机)。到目前为止，Flume提供的load balancing不好用

3，在扇出结构中，如果不指定，默认使用是replicating模式

4，multiplexing模式

a1.sources = s1
a1.channels = c1 c2
a1.sinks = k1 k2

a1.sources.s1.type = http
a1.sources.s1.port = 8090
# 配置Selector
a1.sources.s1.selector.type = multiplexing
# 要监听的字段名
a1.sources.s1.selector.header = kind
# 字段值，根据字段值不同发送到不同的节点上
a1.sources.s1.selector.mapping.music = c1
a1.sources.s1.selector.mapping.video = c2
a1.sources.s1.selector.default = c2

a1.channels.c1.type = memory
a1.channels.c2.type = memory

a1.sinks.k1.type = avro
a1.sinks.k1.hostname = hadoop02
a1.sinks.k1.port = 8090

a1.sinks.k2.type = avro
a1.sinks.k2.hostname = hadoop03
a1.sinks.k2.port = 8090

a1.sources.s1.channels = c1 c2
a1.sinks.k1.channel = c1
a1.sinks.k2.channel = c2

Sink Processor

1，Sink Processor本质上是一个Sink Group（Sink 组），会将一个或多个Sink绑定到一个组，看作是一个整体

2，Sink Processor提供了三种模式

  1. default：默认模式，默认一个Sink就是一个组，有几个Sink就是几个Sink组

  2. failover：崩溃恢复模式。要求将多个Sink绑定到一个组中，给这个组中的每一个Sink需要指定一个优先级，当高优先级的Sink宕机，才会将数据发送给低优先级的Sink

  3. load_balancing：负载均衡模式。要求将多个Sink绑定到一个组中，实现数据的均衡，提供了两种方式：round_robin和random。目前Flume提供的原生的load_balancing模式不好用！！！

3，failover模式

a1.sources = s1
a1.channels = c1 c2
a1.sinks = k1 k2

# 给SinkGroup起名
a1.sinkgroups = g1
# 给这个SinkGroup绑定Sink
a1.sinkgroups.g1.sinks = k1 k2
# 指定SinkGroup的类型
a1.sinkgroups.g1.processor.type = failover
# 给每一个Sink指定优先级
a1.sinkgroups.g1.processor.priority.k1 = 5
a1.sinkgroups.g1.processor.priority.k2 = 2
# 指定等待时间
a1.sinkgroups.g1.processor.maxpenalty = 100000

a1.sources.s1.type = netcat
a1.sources.s1.bind = 0.0.0.0
a1.sources.s1.port = 8090

a1.channels.c1.type = memory
a1.channels.c2.type = memory

a1.sinks.k1.type = avro
a1.sinks.k1.hostname = hadoop02
a1.sinks.k1.port = 8090

a1.sinks.k2.type = avro
a1.sinks.k2.hostname = hadoop03
a1.sinks.k2.port = 8090

a1.sources.s1.channels = c1 c2
a1.sinks.k1.channel = c1
a1.sinks.k2.channel = c2

Interceptors

1，Interceptors本身已是Source的组件之一，可以对数据进行修改，并且每一个Source上可以添加多个Interceptor，构成拦截器链

2，Timestamp Interceptor：时间戳拦截器，在Event的headers中添加一个timestamp字段，用于标记数据被收集的时间

a1.sources = s1
a1.channels = c1
a1.sinks = k1

a1.sources.s1.type = netcat
a1.sources.s1.bind = 0.0.0.0
a1.sources.s1.port = 6666
# 给Interceptor起名
a1.sources.s1.interceptors = i1
# 配置Timestamp Interceptor
a1.sources.s1.interceptors.i1.type = timestamp

a1.channels.c1.type = memory

a1.sinks.k1.type = logger

a1.sources.s1.channels = c1
a1.sinks.k1.channel = c1

关键校验
关注
  • 32
    点赞
  • 踩
  • 14
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Flume单Channel多Sink配置
taoy86的博客
05-02 1646
转自 https://blog.csdn.net/a632189007/article/details/74643000 多sink可以直接按常规配置，这样的话每个sink会启动一个sinkrunner，相当于每个线程一个sink，互不干扰，负载均衡是通过channel实现的，效率会提高为n倍，如果在此基础上加入sinkgroup，则sinkgroup会启动一个sinkrunner,就是单线程，s...
Flume_channel/Sink/Source
959
04-11 196
Channel 临时队列 Flume中提供的Channel实现主要有三个： Memory Channel event保存在Java Heap中。如果允许数据小量丢失，推荐使用 File Channel event保存在本地文件中，可靠性高，但吞吐量低于Memory Channel JDBC Channel event保存在关系数据中，一般...
Flume 多Channel/多Sink
csdn问鼎
08-30 572
文章目录单管道设计多管道、多输出 单管道设计 示例代码 # example.conf: A single-node Flume configuration # Name the components on this agent a1.sources = r1 a1.sinks = k1 a1.channels = c1 # Describe/configure the source a1.s...
Flume常见Source、Channel、Sink配置
Why Do You Run
03-12 1511
整合一下Flume常见的Source、Channel、Sink的配置 --------------------------常见的Source的配置-------------------- Avro Source配置： 参数 默认值 描述 channels - 与之相连的Channel，可以配置多个。用空格隔开。在单个代理流程中，是通过channel连接sources和sinks。一...
flume定制化sink
04-17
flume定制化sink，用于参考，使用了多线程及读取配置文件的技术
01.flume中的sink-batchsize和channel的transactionCapacity大小之间的注意点.mp4
04-28
01.flume中的sink-batchsize和channel的transactionCapacity大小之间的注意点.mp4
flume_kafka_sink:卡夫卡水槽
05-22
kafkaSink.type = com.zyy.bi.flume.sink.KafkaSink kafkaSink.channel = kafkaSink.metadata.broker.list = kafkaSink.topic = custom.partition.key = Flume事件标头custom.encoding =事件主体编码
关于Flume的优化和高可用
01-20
使用Kafka Channel，Flume不再需要配置Sink，直接从Kafka消费数据，提高数据传输的可靠性和效率。 三、数据安全与事务机制 Flume通过事务机制保证数据传输的可靠性。在数据传输过程中，如果发生错误，事务会回滚，...
Apache Flume
2301_77836489的博客
07-16 492
Apache Flume
关于Flume和Flink
qq_36634055的博客
07-17 721
Flink则作为数据处理引擎，接收来自Flume的数据流，执行实时分析、过滤、聚合等操作，并将处理后的数据输出到最终的目的地（如数据库、消息队列或其他下游系统）。而Flink则像是那个真正的主厨，他拿到准备好的食材，开始烹饪，加入调料，做出美味的菜肴。：它的主要任务是收集数据，就像是把散落在各处的日志文件、传感器数据、用户行为数据等收集起来。在现实世界中，很多大数据系统就是这么工作的：先用Flume这样的工具收集和准备数据，然后用Flink这样的工具实时处理数据，最后将处理后的数据用于各种业务决策。
RTI DDS大数据碎片
qq_33089547的博客
07-17 980
PublicationBuiltingTopicData或SubscriptionBuiltnTopicData样本较大的最常见原因是序列化的TypeCode或TypeObject，但您也可能发送了大量属性（通过7.5.19 PROPERTY QosPolicy（DDS扩展））或具有较大的ContentFilteredTopic筛选器表达式，以及其他大小可变的字段，这可能会导致样本大小较大。如果您尝试发送一个大小大于MTU的DDS样本，但尚未设置DDS级碎片，您将看到IP级碎片。
Kudu节点数规划
07-19 543
由于Kudu是Hadoop生态的一部分（虽然它不依赖于Hadoop生态系统），因此大多数实际应用场景需要的不仅仅是Kudu；为了输入数据，可能需要Kafka、StreamSets或Spark Streaming；对于机器学习和数据处理，可能需要Spark；对于交互式SQL，我们也肯定想要Impala。实际上，Kudu和Hadoop生态系统紧密低集成正是其优势之一，因此我们很少单独使用Kudu，所以，在讨论Kudu集群规划时，一般不仅仅是考虑到Kudu。
2024年大数据高频面试题(下篇）
program哲学
07-17 9408
本文详细介绍大数据岗位热门高频面试题并附有详细答案说明，下篇包含scala、即席查询、分区、分桶、分片、调度系统、数据倾斜等内容的常见面试题
Spark学习之SparkSQL
m0_58050808的博客
07-16 538
Spark SQL中的DataFrame DSL（Domain Specific Language，领域特定语言）是一种用于处理DataFrame的编程风格，它允许开发者以命令式的方式，通过调用API接口来操作DataFrame。这种风格**介于代码和纯SQL之间，**提供了一种更加灵活和强大的数据处理方式。DataFrame DSL（Domain Specific Language，领域特定语言）中的。idea里面将代码编写好打包上传到集群中运行，上线使用。
Merge-On-Read
最新发布
不甚了然的博客
07-20 521
Merge-On-Read，顾名思义，就是在读取的时候进行合并，是与Copy-On-Write相反的一种模式在Iceberg中，Merge-On-Read同样用于行级更新，整体过程如下当更新数据时，Iceberg不再Copy一份旧数据，而是直接将更新数据写入独立的一个文件用来标识需要删除的数据这种模式减少了写入时的合并操作，但是加重了读取数据时的合并操作，因此适合写多读少的场景。
机器学习数据集的一致性表现在哪些方面-九五小庞
qq_37241964的博客
07-19 321
总结而言，确保数据集的一致性是提高模型效果和泛化能力的关键。通过综合检查特征分布、数据规律、时间因素、分布式环境和神经网络特征表达的一致性，可以全面评估和保障数据集的一致性。这不仅有助于提升模型的性能，也为后续的特征工程和模型优化提供了坚实的基础。
Flume通道与接收器详解：Memory Channel、File Channel、HDFS Sink等
本文重点讨论了Flume中的两个关键组件——Channel和Sink，以及相关的配置和使用场景。" Flume的Channel是事件(Event)的存储区域，它在Source与Sink之间起到缓冲作用。Channel可以是内存型、文件型或数据库型，每种...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值