storm的bolt实现阶段统计

有时候我们的bolt处理统计逻辑时,需要阶段统计一下,再把统计结果emit到后面的汇总统计bolt处理,因此需要在本地作一个定时阶段的统计,时间满后再后端的bolt emit数据。


阶段统计的bolt实现方法如下:

    public void execute(Tuple tuple, BasicOutputCollector collector) {
        if (TupleHelpers.isTickTuple(tuple)) {
            //log.info("tick tuple: " + tuple);
            emitCountingData(collector);
        } else {
            countInLocal(tuple);
        }
    }
此bolt还要override一个父类的方法,如下:

    @Override
    public Map<String, Object> getComponentConfiguration() {
        Map<String, Object> conf = new HashMap<>();
        conf.put(Config.TOPOLOGY_TICK_TUPLE_FREQ_SECS, emitFrequencyInSeconds);
        return conf;
    }
emitFrequencyInSeconds表示阶段统计的时间,单位秒。

TupleHelpers的实现如下:

import backtype.storm.Constants;
import backtype.storm.tuple.Tuple;

public final class TupleHelpers {
    private TupleHelpers() {
    }

    public static boolean isTickTuple(Tuple tuple) {
        return tuple.getSourceComponent().equals(Constants.SYSTEM_COMPONENT_ID)
                && tuple.getSourceStreamId().equals(Constants.SYSTEM_TICK_STREAM_ID);
    }
}



评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值