本文深入探讨Flume的事务机制，包括put和take事务的概念、流程及参数关系。put事务涉及source将event放入channel，take事务涉及sink从channel拉取并写入目的地。关键参数包括batchSize、transactionCapacity和capatity，它们之间存在明确的大小关系。文中还提供了Memory Channel和Avro Sink等实例，并给出了自定义source和sink中处理事务的代码参考。
一、Flume 事务
1. 概念
put事务：
- put事务指source将event放入channel的过程中，开启的事务
- 流程：source将封装好的event，先放入到putList(事务开启的缓冲区)，一批event在放入putList期间，如果发生了异常，就回滚（rollback()）事务，此时清空putList，如果没有发生异常，那么就提交（ommit()）事务，提交事务将event放入到channel中，这批event就可以写入到channel，写入完成后，清空putList，开始下一批数据的写入
putList：
订阅专栏 解锁全文
952
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
