storm Worker之间的通信

要理解worker之间的通信首先需要知道有哪些角色或组件参与其中,storm worker之间的通信包括以下角色:
注意:tuple是消息传输的单元
1. Receiver Thread:接收线程,负责从其他worker接收tuple消息并根据taskid发送到相应的executer
2. Receiver Queue(incoming queue): 接收队列,所有从接收线程收到的消息都会先进入此队列中
3. Executer:执行execute方法的业务类,当接收队列达到一定的阀值时,会消费队列中的tuple
4. Transfer Queue(outgoing queue):输出队列,Executer执行业务逻辑后会把数据发到此队列中,当次队列的tuple达到一定阀值时,executer的发送线程会获取此队列中的tuple,并发送到Worker的transfer Queue。(特别注意:这里的executer的outgoing queue和Transfer Queue是同一个队列)
5. Send Thread:worker的发送线程,此线程会消费Transfer Queue中的数据,计算tuple应该发送的目的的,也就是发送到不同的worker进程
6. 另外一个worker执行步骤1的操作


大致流程

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值