Storm框架使用详解 搭建篇

Storm框架使用详解

开篇：实时计算是针对海量数据计算，主要是弥补hadoop等框架只能进行离线批处理的不足。实时计算不一定要精确到秒级，个人理解是相对于离线的一种范称吧。主要应用场景有：

1）  数据源是不断产生的，服务端要不断处理接收的数据，同时回馈给客户端。

Storm是基于流的处理框架。以将发送的tuple序列化，进行分发到相应处理端中。数据流在时间和数量上是无限的，这种数据时不断产生的，比如用户的访问历史，点击历史，搜索信息等等。

2）  处理器是循环等待消息的，消息一来即处理数据，进而得出结果。当上传topology时，相应的spout和bolt就一直在运行，除非你显示停止任务。

一个topology 计算模型：

数据流模型:

在storm中数据流其实就是无界的tuple元组数组。Spout是数据产生器，emit数据给相应的bolt，bolt可以接受任意多的stream作为输入，然后进行处理，bolt可以继续emit到相应的bolt或者spout。

Storm提供了若干数据流分发策略(StreamGrouping)，来处理发射出去的流的去向问题，具体可以看storm的文档。也可以自定义分发策略，方法是继承CustomStreamGrouping接口，实现chooseTasks方法。

何为实时计算呢，可以分为三个阶段:实时数据采集、实时计算、实时服务。

实时采集主要体现在及时响应、低延迟等特点。主要框架有chakwa、kafaka、Tim