Trident exactly once实现原理

为了实现exactly-once，storm0.7.0开始支持transactional toplogy(事务topology)，也是微批处理架构，但目前已经不再维护(基本没有人用)，功能完全被trident所替代。准确的说，trident topology是从transactional topology的基本上发展而来，包括spout和state都延用的transactional topology的思路，最大的改变就是抽象出了stream的概念。

数据流对比

原理简介

trident中将tuple封装成batch，每一个batch提供一个唯一的txid，数据的发送、提交、重发都是基于txid，以batch为单位进行。

实现exactly-once的关键在于状态的保存，就trident而言，包括：

1. 元数据的保存，数据处理失败时，能知道要重发是哪些数据
2. 中间状态的保存，重发数据时，能敏锐发现数据的状态是否已经更新过

trident只在用state来做中间状态保存的地方确保exactly once，而数据流并不一定要在所有的地方都需要用state，以wordcount为例，最终我们关心的只是单词的统计结果，中间的read和split并不需要关心，也就不需要保存state，因此，选择s