【Storm】Strom事务主要API及官方案例分析

1、事务主要API

（1）Spout

（a）ITransactionalSpout<T>，同BaseTransactionalSpout<T>，普通事务Spout
（b）IPartitionedTransactionalSpout<T> ，接口，分区事务，增加消息队列吞吐量，现在的消息队列大多支持分区；同BasePartitionedTransactionalSpout<T>，类，常用接口而不用类，因为接口可以实现多个，类只能继承一个，分区事务Spout
（c）IOpaquePartitionedTransactionalSpout<T>：同BaseOpaquePartitionedTransactionalSpout<T>，不透明分区事务Spout
使用最广泛

（2）Bolt 
（a）IBatchBolt<T>：同BaseBatchBolt<T>，普通批处理；
（b）BaseTransactionalBolt：事务Bolt，是IBatchBolt的子类；

execute：逐个处理一个批次的每一个tuple

finishBatch：批次处理完了，才会执行。

prepare：初始化方法，T 是 批次ID

比如一个batch有10个tuple，execute会执行10次，finishbatch只会执行一次；

BaseTransactionalBolt继承自IBatchBolt，prepare方法中：T 是 transactionAttempt 事务标识类

（3）Icommitter

接口Icommitter：标识IBatchBolt 或BaseTransactionalBolt是否是一个committer CoordinatedBolt

 

事务内部处理流程图

2、 ITransactionalSpout<T> 普通事务Spout

ITransactionalSpout<T>：普通事务Spout
  -- ITransactionalSpout.Coordinator<X>
       --initializeTransaction(BigInteger txid, X prevMetadata) ：
创建一个新的metadata，当isReady() 为true时，发射该metadata（事务tuple）到“batch emit”流
       --isReady() ：为true时启动新事务，需要时可以在此sleep

 -- ITransactionalSpout.Emitter<X>
      -- emitBatch(TransactionAttempt tx, X coordinatorMeta, BatchOutputCollector collector) ：逐个发射batch的tuple

3、 IPartitionedTransactionalSpout<T>：分区事务Spout

IPartitionedTransactionalSpout<T>：分区事务Spout，主流事务Spout，原因是目前主流Message Queue都支持分区，分区的作用是增加MQ的吞吐量（每个分区作为一个数据源发送点），主流MQ如Kafka、RocketMQ

-- IPartitionedTransactionalSpout.Coordinator   -- isReady() ：同上    
  -- numPartitions() ：返回分区个数。当增加了数据源新分区，同时一个事务被replayed ，此时则不发射新分区的tuples，因为它知道该事务中有多少个分区。
相比ITransactionalSpout，少了initial方法。多了统计分区数的方法。

-- IPartitionedTransactionalSpout.Emitter<X>    

  --emitPartitionBatchNew(TransactionAttempt tx, BatchOutputCollector collector, int partition, X lastPartitionMeta) ：发射一个新的Batch，返回Metadata

   --emitPartitionBatch(TransactionAttempt tx, BatchOutputCollector collector, int partition, X partitionMeta) ：返回的是元数据。如果这批消息Bolt消费失败了，emitPartitionBatch负责重发这批消息

4、IOpaquePartitionedTransactionalSpout:不透明分区事务Spout

IOpaquePartitionedTransactionalSpout<T>：不透明分区事务Spout

--IOpaquePartitionedTransactionalSpout.Coordinator 
  -- isReady() ：同上