storm-executor-bolt(1)

Executor是Storm的核心运行单位,每个Executor可包含多个Task,负责数据处理。Bolt是处理拓扑中元组的关键组件,实现IRichBolt接口,通过prepare、execute等方法定义处理逻辑。Bolt可以声明输出字段、处理单个元组,支持可靠性和多数据流处理。通过IBasicBolt接口,可以自动进行消息确认。
摘要由CSDN通过智能技术生成

storm—executor(1)

2121SC@SDUSC

executor简介

Executor是Storm的核心运行单位,一个Executor实际上就是一个线程,一个Worker中可以启动一个或多个Executor,而一个Executor又可以含有多个Task,task是逻辑上的运行单位,一个task是最终完成数据处理的实体单元,每个executor只会运行1个topology的1个component(spout或bolt)的task。

Storm会根据一个组件的Task数目及并行度设置来计算哪些Task应该被分配到哪些Executor中,若未设置Task数目,则默认情况下Task数目与Executor数目相同,每个Executor只有一个Task,executor线程里会在每次循环里顺序调用所有task实例。

Bolt

bolts是一个Storm集群中的关键组件,它把元组作为输入,然后产生新的元组作为输出。实现一个bolt时,通常需要实现IRichBolt接口。Bolts对象由客户端机器创建,序列化为拓扑,并提交给集群中的主机。然后集群启动工人进程反序列化bolt,调用prepare,最后开始处理元组。

注:要创建一个bolt对象,它通过构造器参数初始化成员属性,bolt被提交到集群时,这些属性值会随着一起序列化。

Bolt结构
Bolts拥有如下方法:

  • declareOutputFields(OutputFieldsDeclarer declarer)
    为bolt声明输出模式

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值