Storm核心概念

简单讲解:

Topology:计算拓扑,由Spouts和Bolts组成,将整个流程串起来

Stream:流,数据流,水流,是一个抽象概念,由没有边界的Tuple组成

Spout:产生数据/水的东西,消息流的源头,Topology的消息生产者

Bolt:处理数据/水的东西       水壶/水桶,消息处理单元,可以做过滤,聚合,查询/写数据库等操作

Tuple:数据/水,传递的基本单元

例如Storm官网首页的这张图:



水龙头是Spout,产生水的,水滴就是Tuple,水滴会传递到Bolt,用来处理数据,这里会有很多个Bolt,Bolt又会传递到下一个Bolt,这个Bolt之间的传递就是Stream,数据流,而整个流程就是拓扑Topology

官方文档地址:

http://storm.apache.org/releases/2.0.0-SNAPSHOT/Concepts.html

Topology:

实时应用程序的逻辑被打包到Storm拓扑中,Storm拓扑类似于MapReduce作业,一个关键的区别是MapReduce作业最终完成,而拓扑结构永远运行(除非杀死它)

Stream:

流是Storm中的核心抽象,流是无限的元组序列,以分布式方式并行处理和创建,流定义了一个模式,该模式命名流的元组中的字段。默认情况下,元组可以包含整数,长整数,短整数,字节,字符串,双精度数,浮点数,布尔值和字节数组。还可以定义自己的序列化程序,以便可以在元组中本机使用自定义类型

Spout:

spout是拓扑中的流的来源。通常,spouts将从外部源读取元组并将它们发送到拓扑中

Spouts可以发出多个流

Bolts:

拓扑中的所有处理都是用bolt完成的,Bolts可以执行任何操作,包括过滤,函数,聚合,连接,数据库操作等

bolt可以进行简单的流转换,进行复杂的流转换通常需要多个步骤,因此需要多个bolt


--------------------- 
作者:ysjh0014 
来源:CSDN 
原文:https://blog.csdn.net/ys_230014/article/details/83926729 
版权声明:本文为博主原创文章,转载请附上博文链接!
 

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值