Flume的put和take事务

已于 2022-12-31 14:25:31 修改
阅读量1k 收藏 9
点赞数 2
分类专栏： Flume 文章标签： flume 大数据
于 2020-10-31 09:47:22 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/DTFT_/article/details/109398287
版权

文章目录

数量关系

  • batchSize: 每个Source和Sink都可以配置一个batchSize的参数。这个参数代表一次性到channel中put|take 多少个event!

  • batchSize <= transactionCapacity

  • transactionCapacity： putList和takeList的初始值！

  • capacity： channel中存储event的容量大小！

  • transactionCapacity <= capacity

putList: source在向channel放入数据时的缓冲区！

putList在初始化时，需要根据一个固定的size初始化，这个size在channel中设置！在channel中，这个size由参数transactionCapacity决定！

put事务流程

  • source将封装好的event，先放入到putList中
  • 放入完成后，一次性commit()，这批event就可以写入到channel
  • 写入完成后，清空putList，开始下一批数据的写入！
  • 假如一批event中的某些event在放入putList时，发生了异常，此时要执行rollback()，rollback()直接清空putList。
最低0.47元/天 解锁文章
孙晨c
关注
专栏目录
《大数据： Flume 事务》
yexiangCSDN的专栏
10-26 155
一、Flume 事务 1. 概念 put事务： put事务指source将event放入channel的过程中，开启的事务 流程：source将封装好的event，先放入到putList(事务开启的缓冲区)，一批event在放入putList期间，如果发生了异常，就回滚（rollback()）事务，此时清空putList，如果没有发生异常，那么就提交（ommit()）事务，提交事务将event放入到channel中，这批event就可以写入到channel，写入完成后，清空putList，开始下
Flume1：基础知识、Agent架构、Channel/Sink传输拦截器与Put/Take传输事务控制
Big_data_implicit_
11-09 1210
1. 基础知识 flume是一个实时数据采集工具，可以从各种各样的数据源（服务器）上采集用户行为、事件日志数据集中传输（汇聚）到大数据生态的各种存储平台中（hdfs，hbase,hive,kafka) 1.1 flume的优势： 可以高速采集数据，采集的数据能够以想要的文件格式及压缩方式存储在hdfs上 事务功能保证了数据在采集的过程中数据不丢失 部分Source保证了Flume挂了以后重启依旧能够继续在上一次采集点采集数据，真正做到数据零丢失 1.2 flume的组成 flum...
Flume 事务总结 put事务 take事务 理解
Nurbiya_K的博客
09-03 3137
我们都知道Flume是一个日志文件传输的工具，传输过程会经过三大步骤： 1.通过source 把数据从数据源（网络端口，本地磁盘等）读出出来 2.通过source把数据传入到channel里面 3.再把数据从channel传输到sink里面，sink把数据传给目的地（hdfs）. 当然传输数据的过程并不是只有这三个步骤，flume 竟然是传输数据的，所以得考虑到数据传输时数据的完整性 . Flu...
Flume事务机制
weixin_43586713的博客
08-02 821
Flume事务机制Flume事务机制 Flume事务机制 Flume事务有put和take机制,两者保证数据传输的准确性. Put事务:Source到Channel doPut:将数据从souce写入临时缓冲区putList doCommit:检查Channel内存队列是否足够合并 doRollback:channel 内存队列空间不足,则回滚数据 take事务:channel到sink doTake:将数据取到临时缓冲区takeList doCommit:如果数据全部发送成功,则清除临时缓冲区takeL
Flume个人心得笔记之事务机制
LiuY521的博客
07-06 882
Flume个人心得笔记之事务机制 目录 Flume个人心得笔记之事务机制 一、概述 二、put事务流程 三、Take事务 一、概述 Flume的事务机制与可靠性保证的实现，最核心的组件是Channel（通道）。如果没有Channel组件，而紧靠Source与...
Flume 组成，Put 事务，Take 事务
星空下的那个人影
04-11 536
Taildir source a. 断点续传（网络故障还可以读到数据） b. 能够实时的监控文件产生的数据的变化 c. 多目录 d. Taildir 改了怎么办？——不会丢数，断点续传 e. 怎么处理重复数据？——不处理，生产环境下通常不处理，因为会影响传输效率 Kafka channel（下一级是Kafka） 数据存储在Kafka中，基于磁盘； 优点：可靠性高 减少了 Flume 的 Sink 阶段，提高了传输效率。 File channel（金融、对钱要求准确） 数据存储在磁盘中； 优点：可..
2021-04-30
小蚂蚁的博客
04-30 158
Flume组成，Put事务，Take事务 1）taildir source （1）断点续传、多目录 ​ （2）哪个flume版本产生的？Apache1.7、CDH1.6 （3）没有断点续传功能时怎么做的？ 自定义 （4）taildir挂了怎么办？ ​ 不会丢数：断点续传 ​ 重复数据： （5）怎么处理重复数据？ ​ 不处理：生产环境通常不处理，因为会影响传输效率 ​ 处理 ​ 自身：在taildirsource里面增加自定义事务 ​ 找兄
Flume组成，Put事务，Take事务，拦截器，选择器和监控器
cvwarrior_wutu的博客
12-28 896
1 Flume组成，Put事务，Take事务 1.1 Flume组成 一、taildir source （1）特性： 支持断点续传、多目录 （2）是由哪个flume版本产生的？ Apache1.7、CDH1.6 （3）没有断点续传功能时怎么做的？ 使用自定义 （4）taildir挂了怎么办？ 不会丢数：断点续传，但是会造成重复数据： （5）怎么处理重复数据？ ①不处理 生产环境通常不处理，因为会影...
个人项目中用到的Flume 各组件，以及Put 事务和Take 事务介绍
Laoddaaa的博客
08-11 140
Flume
Flume的事务机制
qq_45873533的博客
07-14 398
Flume 使用两个独立的事务分别负责从 Soucrce 到 Channel （put），以及从 Channel 到Sink 的事件传递（take）。 比如 spooling directory source 为文件的每一行创建一个事件，一旦事务中所有的事件全部传递到 Channel 且提交成功，那么 Soucrce 就将该文件标记为完成。 同理，事务以类似的方式处理从 Channel 到 Sink 的传递过程，如果因为某种原因使得事件无法记录，那么事务将会回滚。且所有的事
Flume中的事务（图解）
CaseZoecxl的博客
06-21 1961
直接进入主题： FLume事务包括Put事务和Take事务。Flume事务保证了数据在Flume中传输的时候不会丢失，需要注意的是，Take事务可能导致数据重复。
Flume事务
别人笑我太疯癫，我笑他人看不穿。
03-20 412
Flume的事务有两部分 source到channel中有着put事务，作用是当缓冲区发生异常，数据不会直接丢失，而是回滚事务，当然回滚到source的数据，虽然会在一定时间之后再次推送到缓冲区，但是如果一直推不进去，那我们就要去考虑为什么了 channel到sink之间有着take事物，它的作用是让sink主动的去获取数据，如果发生了异常，就会将数据还给channel 下面给大家用我的理解说一说，不一定完全对，但是也大差不差了，首先大家看一眼下面的图，方便后期理解我在说什么 首先如开头说的那样，sour
Flume的Source，Sink，Channel的作用？你们Source是什么类型？
weixin_42435657的博客
05-14 302
根据Flume的架构原理，Flume是不可能丢失数据的，其内部有完善的事务机制，Source到Channel是事务性的，Channel到Sink是事务性的，因此这两个环节不会出现数据的丢失，唯一可能丢失数据的情况是Channel采用memoryChannel，agent宕机导致数据丢失，或者Channel存储数据已满，导致Source不再写入，未写入的数据丢失。增加Source个（使用Tair Dir Source时可增加FileGroups个数）可以增大Source的读取数据的能力。
2021-03-12
mojolang
03-12 445
Flume连接HDFS 进入Flume配置 配置flume.conf # Name the components on this agent a1.sources = r1 a1.sinks = k1 a1.channels = c1 # sources a1.sources.r1.type = netcat a1.sources.r1.bind = 0.0.0.0 a1.sources.r1.port = 41414 # sin..
Flume进阶
10-11 520
Flume Agent内部原理 1.Source对接数据源，负责封装Event； 2.然后发送给Channel Processor，Channel Processor调用事件拦截器链； 3.将每个事件给Channel Selector事件选择器，选择出要发送的事件； 4.将Channel Selector的结果写入相应的Channel； 5.若多个Sinks组从一个Channel中拉取数据，由SinkProcessor挑选Sinks组中的一个Sink去Channel中读取数据； 即一个时刻只能有
Flume数据传输事务分析
某先生的专栏
09-30 1万+
Flume数据传输事务分析 本文基于ThriftSource,MemoryChannel,HdfsSink三个组件，对Flume数据传输的事务进行分析，如果使用的是其他组件，Flume事务具体的处理方式将会不同。一般情况下，用MemoryChannel就好了，我们公司用的就是这个，FileChannel速度慢，虽然提供日志级别的数据恢复，但是一般情况下，不断电MemoryChannel是不会
【Flume】flume中transactionCapacity和batchSize概念的具体分析和解惑
热门推荐
三也_攻城狮
03-12 1万+
不知道各位用过flume的读者对这两个概念是否熟悉了解 一开始本人的确有点迷惑，觉得这是不是重复了啊？ 没感觉到transactionCapacity的作用啊？ batchSize又是干啥的啊？ …… …… 带着这些问题，我们深入源码来看一下： batchSize batchSize这个概念首先它出现在哪里呢？ kafkaSink的process方法 HDFS Sink
flume中如何启动事务支持
最新发布
09-08
在Flume中，事务支持是通过事务性的Channel来提供的，这些Channel保证了事件（event）在被可靠地传输到目的地之前，不会被删除。要启动Flume的事务支持，通常需要使用支持事务的Channel实现，比如文件系统事务Channel（Filesystem Transactional Channel）。 以下是启动Flume事务支持的基本步骤： 1. 配置Flume的agent配置文件，指定使用事务性Channel。例如，在`flume-conf.properties`配置文件中，可以这样设置： ```properties # 定义agent名称 a1.sources = r1 a1.sinks = k1 a1.channels = c1 # 配置source，这里以exec source为例 a1.sources.r1.type = exec a1.sources.r1.command = tail -F /path/to/logfile.log # 配置sink，这里以logger sink为例 a1.sinks.k1.type = logger # 配置事务性Channel a1.channels.c1.type = file a1.channels.c1.capacity = 1000 a1.channels.c1.transactionCapacity = 100 # 将source、sink和channel连接起来 a1.sources.r1.channels = c1 a1.sinks.k1.channel = c1 ``` 在这个配置中： - `a1.channels.c1.type = file` 指定了Channel的类型为文件系统事务Channel。 - `a1.channels.c1.capacity` 设置了Channel的总容量。 - `a1.channels.c1.transactionCapacity` 设置了Channel在一个事务中可以处理的最大事件数。 2. 启动Flume agent。使用以下命令： ```bash flume-ng agent --conf /path/to/flume/conf --conf-file /path/to/flume-conf.properties --name a1 -Dflume.root.logger=INFO,console ``` 在这个命令中： - `--conf` 指定了Flume配置文件所在的目录。 - `--conf-file` 指定了具体配置文件的路径。 - `--name` 指定了agent的名称，这需要与配置文件中定义的名称一致。 - `-Dflume.root.logger=INFO,console` 设置了日志级别和日志输出位置。 请注意，实际部署和配置时，需要根据你的具体需求来调整这些参数。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

孙晨c

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值