storm开发篇1 - 示例入门

storm java 开发的hello world 入门示例

Storm中的核心概念:

Stream: 流是一个没有边界的Tuple序列，这些Tuple以分布式的方式并行创建与处理

Spout:是Topology中消息的生产者（即是Tuple的创建者）

            

Bolt:消息的处理者

        是接收Spout发出Tuple后处理数据的组件，并产生新的数据输出流。可执行过滤，合并，统计等操作。

        生命周期：客户端创建Bolt，然后将其序列化拓扑，并提交给集群中的主机。集群启动worker进程，反序列化Bolt，调用prepare方法开始处理Tuple

Tuple:可简单的认为是消息传递时约定的一种数据结构,Fields-Values形式。可形象的比喻为数据库表定义与数据储存，定义好了Fields之后它的值可能就是一个Values的列表.Fields默认支持的类型有:Integer,float,double,long,short,string,byte 其它类型的就需要序列化了

    

大概看一下Fields对应的源码

        Tuple的生命周期：backtype.storm.spout.ISpout 实现接口负责产生与传递Tuple

Task:每一个Spout/Bolt的运行线程称为一个Task,也就是Spout/Bolt的执行单元

Worker:是一个java进程，执行Topology的一部分任务。会启动一个或是多个executor线程来执行一个Topology的组件(Spout/Bolt)，因此在执行时，可能跨一个或是多个worker

Stream Grouping:定义一个流如何分配Tuple到Bolt的，主要流分组类型有：

• 随机分组
• 字段分组
• 全部分组：对于每一个Tuple来说，所有的Bolt都会收到
• 全局分组:全部的流都分配到Bolt的同一个任务
• 无分组
• 直接分组 ：元组的生产者决定元组由哪个元组消费者任务接收        

Topology:

        在分布式模式时，需要打包成JAR包放到Nimbus中运行。在打包时不需要把依赖的Jar都打进去。

        在nimbus服务器上提交&#