流计算是一种针对数据流的实时计算技术，常用于处理大量实时数据并提供快速响应。在流计算中，数据从实时采集开始，通过处理节点进行实时计算，再提供实时查询服务。TwitterStorm是一个实时计算系统，它的设计理念是将数据流抽象为无界的连续Tuple流，Spouts作为数据源，Bolts则负责处理和转换流数据。在Storm中，多个Bolts可以并行处理来自Spout的数据，形成Topology（拓扑）以优化效率。
什么是流计算
- 流计算概念： 流计算是针对数据流的实时计算
- 流计算应用场景：流计算是针对流数据的实时计算，其主要应用在于产生大量流数据、同时对实时性要求高的领域
流计算处理的流程
- 数据实时采集：提供实时数据，低延迟，稳定可靠
- 数据实时计算
- 实时查询服务
离线分析延时较大，需要实时分析数据
Twitter Storm
Twitter分层的数据处理架构由Hadoop和ElephantDB组成批处理系统，Storm和Cassandra组成实时系统，实时系统处理的结果最终会由批处理系统来修正，正是这个观点使得Storm的设计与众不同
Storm 设计思想
- Storm对于流Stream的抽象：流是一个不间断的无界的连续Tuple（元组，是元素有序列表）
- Storm认为每个Stream都有一个源头，它将这个源头抽象为Spouts
- Storm将流的中间状态转换抽象为Bolts，Bolts可以处理Tuples，同时它也可以发送新的流给其他Bolts使用
- 为了提高效率，在Spout源接上多个Bolts处理器。Storm将这样的无向环图抽象为Topology（拓扑）
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
