要理解worker之间的通信首先需要知道有哪些角色或组件参与其中,storm worker之间的通信包括以下角色:
注意:tuple是消息传输的单元
1. Receiver Thread:接收线程,负责从其他worker接收tuple消息并根据taskid发送到相应的executer
2. Receiver Queue(incoming queue): 接收队列,所有从接收线程收到的消息都会先进入此队列中
3. Executer:执行execute方法的业务类,当接收队列达到一定的阀值时,会消费队列中的tuple
4. Transfer Queue(outgoing queue):输出队列,Executer执行业务逻辑后会把数据发到此队列中,当次队列的tuple达到一定阀值时,executer的发送线程会获取此队列中的tuple,并发送到Worker的transfer Queue。(特别注意:这里的executer的outgoing queue和Transfer Queue是同一个队列)
5. Send Thread:worker的发送线程,此线程会消费Transfer Queue中的数据,计算tuple应该发送的目的的,也就是发送到不同的worker进程
6. 另外一个worker执行步骤1的操作
storm Worker之间的通信
最新推荐文章于 2022-03-10 14:53:12 发布