jstorm的acker机制

JStorm/storm可以保证从spout发出的每条消息可以被完全处理,什么叫完全处理?

为了帮助理解,我们参考storm官网的几张图和例子说明这个原理,下面是个wordCount的例子,我们从spout发出来一条消息,这个消息就是一行文字,被下游的bolt切分处理,加工,然后再往后发,count bolt统计每个单子计数。

TopologyBuilder builder = new TopologyBuilder();
builder.setSpout("sentences", new KestrelSpout("kestrel.backtype.com",
                                               22133,
                                               "sentence_queue",
                                               new StringScheme()));
builder.setBolt("split", new SplitSentence(), 10)
        .shuffleGrouping("sentences");
builder.setBolt("count", new WordCount(), 20)
        .fieldsGrouping("split", new Fields("word"));

从spout读出来的一行文字,被切分成一个单词,那么这些单词每个都与spout的那条消息(一行文字)关联,所谓完全处理,不光是这行文字被成功发射给splitbolt,还得保证这句话的每个单词都被count正确的处理掉。同样的,你的拓扑逻辑如果有更多层,那么一条消息加工处理后的关联tuple都是要被成功处理,才认为spout发出的消息被完全处理。这种从spout发出的消息以及基于它产生的(加工处理出来的)关联的消息,组成一个消息树,jstorm就是要保证这个消息树的全部消息被处理。

Tuple tree

如果在一个可配置的时间内,一个spout的tuple的子树的消息没有被完全处理,那么就会超时,导致失败。

Config.TOPOLOGY_MESSAGE_TIMEOUT_SECS配置项,默认30s

那么jstorm提供的这种机制,用户怎么用呢,其实很简单,这种机制加到编程框架中了,

public interface ISpout extends Serializable {
   
    void open(Map conf, TopologyContext context, SpoutOutputCollector collector);
    void close();
    void nextTuple();
    void ack(Object msgId);
    void fail(Object msgId);
}
这个是spout的接口,注意到ack和fail接口了吗,你可以简单的认为,如果消息树被完全处理,那么会回调用户的spout的ack方法,反之会回调fail方法。

下面仔细梳理一下spout的框架流程:

首先,框架会调用你spout的nextTuple 方法(open初始化完成后,open提供了一个

  • 2
    点赞
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值