如何在storm应用中实现定时调度

最新推荐文章于 2021-08-29 13:48:53 发布

weixin_34375251

最新推荐文章于 2021-08-29 13:48:53 发布

阅读量105

点赞数

文章标签：大数据数据库 python

原文链接：https://my.oschina.net/HuQingmiao/blog/710001

版权

2019独角兽企业重金招聘Python工程师标准>>>

在storm中实时定时调度，较好的方式是利用spout的nextTuple()不断循环触发你的定时任务。

首先，把需要定时调度的逻辑用一个bolt实现，其execute方法的伪代码如下：

    // 从topology的全局对象 backtype.storm.Config取得上次调度时间
    Date 上次调度时间 = config.get("上次调度时间");

    if ( 如果当前时间 - 上次调度时间 >= 调度间隔 ) {
	 
        // 执行具体业务逻辑
        doTask()；
              
        // 将本次执行时间存入全局对象 backtype.storm.Config
        config.put("上次调度时间", 当前时间);
    }

然后，定义一个专门的定时发送消息的spout，如以下每隔8秒发送一条消息：

    @Override
    public void nextTuple() {
        try {
            Thread.sleep(8 * 1000);
            collector.emit(new Values("Let's go!"));
        } catch (Exception e) {
            log.error("", e);
        }
    }

这个spout发出的消息没有任何业务意义，只是为了触发上面的bolt。

** 补充说明**，如果以上代码在执行 config.put() 时抛出异常 “storm Async loop died!” ，那就改为用redis保存最近一次的执行时间。

转载于:https://my.oschina.net/HuQingmiao/blog/710001