storm mysql trident_storm trident 消息成功处理

trident里面

batch会被缓存,这样失败了可以重新发送

多个batch可以并行被process,但是commit是严格按照txid顺序来执行

一个batch的状态会存在zk里

只要batch在timeout时间内commit就算完成了,应该同时会清缓存

如果异常或超时了,就会replay

在原声的storm中一个tuple和它衍生的tuple有没有被成功处理,是通过一个异或机制来监控的,如果被成功处理,最后肯定会是0

batch也是类似的监控机制

一个batch也会衍生出一些tuple,也会通过groupby,来拆分进行process

一个tuple完成时说,它和它的衍生tuple,都ack成功了,

一个batch完成时说,batch里的所有tuple都成功了,这些tuple本身都是带txid标志的

一个batch中的多个tuple可能会被shuffle到多个partition,分别处理,这个是没关系的

一个window内可能包含多个batch,他们会被一起处理

storm里的处理实例:

worker:进程 jvm,一个worker有且仅为一个topology服务

executor:线程 ,一个executor处理一个节点(component),默认一个executor就处理一个task,也可以配置,循环处理多个task

task:待处理的任务,一个task,里面包含一些tuple,一个task只会交给一个executor来处理,发给同一个executor的taskid是固定的,只是tuple不一样 ?

task是传输的目标单元,会序列化和反序列化

group之后的数据,会放到一个task里交给一个线程来完成

batch,window,group内的数据,会放到一个task内进行处理

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值