Storm-核心概念

核心概念

1. Topologies 拓扑，将整个流程串起来
   1. 计算拓扑，由spout和bolt组成
   2. 类似于MR作业
      1. MR最终要完成，topology会一直运行除非自己杀死
   3. 对应的资源
      1. TOPOLOGYBUILDER
      2. Running topologies on a production cluster
      3. Local mode
2. Streams 流，数据流，水流
   1. 消息流，抽象概念，没有边界的tuple构成
   2. 一个Stream是由一系列有序的tuple组成。
   3. tuple包含int,long,shorts,byte,string,double floats and byte arrays
   4. 对应资源
      1. Tuple
      2. OutputFieldsDeclarer
      3. Serialization
3. Spouts 产生数据/水流的东西
   1. 消息流的源头，Topology的消息生产者
   2. 可靠和不可靠
   3. 可以发送多个stream
   4. 最主要的方法nextTuple,发送新的tuple到拓扑里面或者简单的返回什么都不做
   5. ack 和fail方法 保证数据是否正常处理。自动调用
      1. 仅仅会在可靠的spout中调用
   6. 对应的资源
      1. IRichSpout
      2. 如何保证消息被处理，ack和fail
4.  Bolts 处理数据/水流的东西
   1. 消息处理单元，可以做过滤，聚合，查询/写数据库的操作
   2. 主要方法
      1. execute 执行
   3. 在bolt中启动多线程
   4. 对应的资源
      1. IRichBolt
      2. IbasicBolt
      3. OutputCollector
      4.  
5. Tuple 数据/水
   1. 消息/数据 传递的基本单元
6. Stream Grouping
7. Reliability 可靠性
8. Task
9. Workers
   1. 每一个worker进程是一个物理JVM进程，执行多有拓扑的子集

核心概念讲解-地铁运行模型

1. 地铁由多个车厢构成；
2. 车厢中有很多乘客
3. 每个站点有不少的人上车和下车
4. 地铁有始发站，经停站，终点站；
5. 地铁停靠站通过地铁调度中心进行控制

---

storm

1. 流理解成地铁
2. tuple数据----人
3. 在bolt中处理业务逻辑，其实就是针对tuple进行处理

 

流程图