Storm,核心代码使用clojure书写,实用程序使用python开发,使用java开发拓扑。
Nimbus节点接收到请求,对提交的拓扑进行分片,分成一个个的task,并将task和supervisor相关的信息提交到zookeeper集群上,supervisor会去zookeeper集群上领自己的task,通知自己的worker进程进行Task的处理。
1. open() :
初始化方法
2. close():
spout将要关闭时调用,但是不保证其一定被调用,因为在集群中supervisor节点,可以使用kill -9来杀死worker进程,只用storm是在本地模式下运行,如果是发送停止命令,是可以保证close执行的。
3. nextTuple()
Storm框架会一直调用此方法,输出无级到outputcollector.这种方法应该是非阻塞的。nextTuple,ack and fail都在spout任务的同一个线程中被循环调用。
4. declareOutputFields方法:
声明要输出的tuple的字段名称。
void ack(Object msgid)
成功处理tuple时回调的方法,通常情况下,此方法的实现是将消息队列中的消息移除,防止重发。
void fail(Object msgid)
处理tuple失败时的回调方法,通常情况下,此方法的实现是将消息放回消息队列中然后在稍后时间里重发。