nimbus:storm集群的唯一主节点,负责资源的分配和任务调度。
supervisor:storm集群的工作节点,接受nimbus分配任务,管理worker。
worker:supervisor下的工作进程,具体任务执行。
task:worker下的工作线程,0.8版本之后表示逻辑线程。
topology:实时计算的逻辑拓扑,由spout和bolt组成图状结构。
spout:storm编程模型中的消息源,能进行可靠传输(ask/fail机制)。
bolt:storm编程模型中处理组件,重写execute方法,进行实际的业务逻辑的数据处理。
stream:拓扑中的消息流,传输的对象是tuple。
tuple:一次消息传递的基本单元。
Stream Groupings 数据流的分组策略
1.shuffle grouping:随机分组,保证bolt接受的tuple数量相同。
2.fields grouping:按字段分组,相同tuple会分到同一个bolt中。
3.all grouping:广播分组,每一个tuple会发送到所有的bolt中。
4.global grouping:全局分组,所有tuple发送到task_id最小的bolt中。
5.non grouping:不分组,效果与sh
Storm相关术语
最新推荐文章于 2023-08-15 15:32:29 发布