Storm1.1.1分析-Python中添加定时器引起ShellBolt错误的解决过程
先说结论:storm里,不能在python脚本中添加读取消息的定时任务。
问题描述
问题来源
在一个消息消费场景里,需要从redis(pub/sub模式)或者storm中接收消息,然后进行批量处理。 说明下,redis和storm并不同时共存,程序会根据系统环境和配置选择不同的数据源,但消息处理方式是一致的。
批量处理主要分为两类:
数量阈值批处理,即消息数量达到设定的阈值,开始进行批处理;
...
原创
2018-09-29 09:39:22 ·
621 阅读 ·
0 评论