storm-核心接口ISpout,IComponent,IBolt

ISpout
概述
核心接口(interface),负责将数据发送到topology中去处理
Storm会跟踪Spout发出去的tuple的DAG
ack/fail
tuple: message id
ack/fail/nextTuple是在同一个线程中执行的,所以不用考虑线程安全方面

核心方法
open: 初始化操作
close: 资源释放操作
nextTuple: 发送数据   core api
ack: tuple处理成功,storm会反馈给spout一个成功消息
fail:tuple处理失败,storm会发送一个消息给spout,处理失败


实现类
public abstract class BaseRichSpout extends BaseComponent implements IRichSpout {}
public interface IRichSpout extends ISpout, IComponent {}
DRPCSpout
ShellSpout

IComponent接口
概述:
public interface IComponent extends Serializable
为topology中所有可能的组件提供公用的方法

void declareOutputFields(OutputFieldsDeclarer declarer);
用于声明当前Spout/Bolt发送的tuple的名称
使用OutputFieldsDeclarer配合使用

实现类:
public abstract class BaseComponent implements IComponent

IBolt接口
概述
职责:接收tuple处理,并进行相应的处理(filter/join/....)
hold住tuple再处理
IBolt会在一个运行的机器上创建,使用Java序列化它,然后提交到主节点(nimbus)上去执行
nimbus会启动worker来反序列化,调用prepare方法,然后才开始处理tuple处理

方法
prepare:初始化
execute:处理一个tuple暑假,tuple对象中包含了元数据信息
cleanup:shutdown之前的资源清理操作

实现类:
public abstract class BaseRichBolt extends BaseComponent implements IRichBolt {}
public interface IRichBolt extends IBolt, IComponent{}
RichShellBolt
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值