JStorm/storm可以保证从spout发出的每条消息可以被完全处理,什么叫完全处理?
为了帮助理解,我们参考storm官网的几张图和例子说明这个原理,下面是个wordCount的例子,我们从spout发出来一条消息,这个消息就是一行文字,被下游的bolt切分处理,加工,然后再往后发,count bolt统计每个单子计数。
TopologyBuilder builder = new TopologyBuilder();
builder.setSpout("sentences", new KestrelSpout("kestrel.backtype.com",
22133,
"sentence_queue",
new StringScheme()));
builder.setBolt("split", new SplitSentence(), 10)
.shuffleGrouping("sentences");
builder.setBolt("count", new WordCount(), 20)
.fieldsGrouping("split", new Fields("word"));
从spout读出来的一行文字,被切分成一个单词,那么这些单词每个都与spout的那条消息(一行文字)关联,所谓完全处理,不光是这行文字被成功发射给splitbolt,还得保证这句话的每个单词都被count正确的处理掉。同样的,你的拓扑逻辑如果有更多层,那么一条消息加工处理后的关联tuple都是要被成功处理,才认为spout发出的消息被完全处理。这种从spout发出的消息以及基于它产生的(加工处理出来的)关联的消息,组成一个消息树,jstorm就是要保证这个消息树的全部消息被处理。
如果在一个可配置的时间内,一个spout的tuple的子树的消息没有被完全处理,那么就会超时,导致失败。
Config.TOPOLOGY_MESSAGE_TIMEOUT_SECS配置项,默认30s
那么jstorm提供的这种机制,用户怎么用呢,其实很简单,这种机制加到编程框架中了,
public interface ISpout extends Serializable {
void open(Map conf, TopologyContext context, SpoutOutputCollector collector);
void close();
void nextTuple();
void ack(Object msgId);
void fail(Object msgId);
}
这个是spout的接口,注意到ack和fail接口了吗,你可以简单的认为,如果消息树被完全处理,那么会回调用户的spout的ack方法,反之会回调fail方法。
下面仔细梳理一下spout的框架流程:
首先,框架会调用你spout的nextTuple
方法(open初始化完成后,open提供了一个