storm中如何使用BaseWindowedBolt的ack机制

本文介绍了在Storm中,如何在BaseWindowedBolt中正确使用ack和fail机制。遇到的问题是,期望对每个tuple进行单独的ack和fail操作,但默认行为是整个TupleWindow仅ack一次。通过官方文档了解到,Storm核心的窗口功能提供至少一次的保障,它会自动锚定输入Window中的所有tuples。为确保tuple树的完整,需要在下游Bolt中调用ack方法。解决方案是创建一个普通Bolt来处理和ack来自WindowBolt的tuples,经测试,此方法实现了每个tuple的单独ack。
摘要由CSDN通过智能技术生成

最近有个需求,在WindowedBolt中需要对每个tuple进行ack,如果异常则进行fail,如是,我按照普通Bolt的写法,却始终实现不了上面的功能,代码如下:

List<Tuple> tupleList = inputWindow.get();
        try {
            if (tupleList.isEmpty()) {
                return;
            }
             // batch save
            service.saveDetails(details);
            
            for (Tuple input : tupleList) {
                 //ack
                collector.ack(input);
            }
            
        } catch (Exception ex) {
            log.error("", ex);
            // fail
            for (Tuple input : tupleList) {
            	collector.fail(input);
            }
        }

通过测试发现每一个tuplewindow只会ack一次,具体的说就是,比如一个window窗口有100条数据,按照上面的ack方法,只会ack一条,而不会将100条数据都ack,通过查看官网,发现TupleWindow的ack还真有点不一样的地方,官网文档如下:

 

Guarentees

The windo

  • 1
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值