Streaming Data Processing_10

开发一个真正的Storm的程序

1.在Storm中，假设你要开发一个Service或者一个App，你的这样一个流程是什么样的？

首先我们要想清楚我们需要什么样的这种数据源对吧，这是必不可少的，我们有了这个数据源之后，我们会需要在里面创建一系列的Bolt，然后来处理数据，然后我们要把这些Bolt通过一个拓扑结构连接起来。这两步可能是大家在构思的时候就会一次性的生成，然后我们会让Storm会运行这个Topology(拓扑结构)。我们说过Topology的概念在Storm中就是一个MapReduce中Job这样一个概念，然后我们去Test这个Topology，看看它在小规模的数据或者是短期的这样一个数据上，它能不能在给定的延迟给到我们一个想要的结果，它能不能有效的管理好内存等等，能不能有效的得到正确的结果，这是我们去探索的一个目标。

2.数字翻倍例子

2.1.比如说这边有一个例子，如果给到的一个Tuple它里面包含一个元素是74，那么它产生一个新的数据流对应的Tuple，它的一个数据是148。
2.2.那我们来看这个例子呢，实际上已经给我们提供了一个Spout一个数据源。这个数据源呢，是不断地去产生随机数。
2.3.那我们的目标就是要产生一个新的数据流，这个数据流是将我们产生的这样一个随机数的数据源，把它的数字进行一个翻倍。

3.实现流程

我们来看，这个简单的例子，对应到Storm的代码和实现上，它是一个什么样的样子？

3.1.Spout

我们来看，这个Spout我们应该怎么样去实现？

我们来看，假设我们要实现这个数据流的时候，我们需要怎么去做？

那么在Storm里面，实现nextTuple就可以达到这样一个目标。在Spout里面给了用户一个接口，这个接口叫做nextTuple，实际上Storm系统会通过调用这个接口来让你产生这样一个数据流。当然在某一些情况下，这个数据流已经是你处理的这个数据任务提供给你的。

我们会通过提供的一个叫做Controlor的东西，让它去抛出一个Tuple。那么这个Tuple里面实际上就包含了我们刚刚所需要的这样一个数据，这是我们实现Spout的时候去做的这样一个事情，那么当你把这个数据emit到Storm之后，Storm就会调用后续的Spout，然后来接收数据，并且让后续的Spout去处理这个数据，然后整个Topology就会被运行起来。

3.2.Extending BaseRichBolt

那么我们来看，我们实现Bolt的时候，又要去做什么呢?

那么数据流会从前面的Spout或者其他的Bolt过来，然后我们在里面去做我们需要处理的这样一个任务和Spout类似，Storm也提供了Bolt实现的这样一个接口，在里面叫做execute。execute会在有新的Tuple到达的时候被系统调起，然后执行用户在excute里面写的代码。那么在里面也有一些基本的function，是用户可以去用的。比如说它可以用Controller把处理之后生成了新的Tuple，往下一级进一步去传。

在实现Bolt的这个过程中,实际上我们是去执行刚刚的,就是用户实现的这样一个代码。

那么回想一下，实际上Bolt和Bolt之间也连成了Topology里面的这样一个顺序；同时呢，它会通过ack这样一个功能告诉Storm这个数据已经处理完了。那ack的好处，就是让整个编程人员在使用的时候可以滞后去确认这个过程已经完成，它执行完到某一步，它可以告诉系统，现在我已经可以把这个Tuple传给下一个Bolt，那这是它的一个用处。

那么有了Spout和Bolt的编写之后，实际上用户在这个过程的实现当中会形成可能一系列的Bolt，那在我们刚刚具体的这个例子当中呢，它所需要做的仅仅是把数值乘以2，产生一个新的Tuple，然后emit到下一个Bolt，然后ack刚刚的操作。

3.3.Topology #Topology config – for running on your local laptop

那么有了这些东西之后，我们看看怎么样通过Topology把它们给连接起来？

在Storm里面使用了一个叫做Topology Builder的工具，这个类，用Topology Builder来进行Bolt和
Bolt的连接。

那我们来看它是怎么去做的？

首先，我们可以在里面去set它的Bolt Topology。SetSpout就是说这个Topology以这个Spout作为它的数据源的输入，来驱动整个Topology的运行。同样，Topology可以往里面添加去添加它的Bolt，把这个Bolt添加到Topology里面，然后再通过它的Topology进行一个连接，可以把Spout和Bolt连接起来。连接起来之后，实际上整个Topology就已经完成了。那么有了这样一个Topology之后，实际上我们就可以去运行这样一个Storm的任务。

---

note:

1.介绍tuple的作用

1.1.tuple元组
tuple是storm的主要数据结构，并且是storm中使用的最基本单元、数据模型和元组

1.2.tuple描述
tuple就是一个值列表，tuple中的值可以是任何类型的，动态类型的tuple的fields可以不用声明。默认情况下，storm中的tuple支持私有类型、字符串、字节数组等作为它的字段值，如果使用其他类型，就需要序列化该类型。

tuple的字段默认类型有：integer、float、double、long、short、string、byte、binary
tuple可以理解成键值对，例如：创建一个bolt要发送2个字段(命名为double和triple)，其中键就是定义declareOutputFields方法中的fields对象，值就是在emit方法中发送的values对象。

以下是一个简单的例子：

public class doubleAndTripleBolt extends BaseRichBolt {
    OutputCollector _collector;
    public void execute(Tuple input) {
    int val=input.getInteger(0);
    _collector.emit(input,new Values(val*2,val*3));
    _collector.ack(input);
    }

    public void prepare(Map conf, TopologyContext context, OutputCollector collector) {
    _collector=collector;
    }

    public void declareOutputFields(OutputFieldsDeclarer declarer) {
    declarer.declare(new Fields("double","triple"));
    }

}

此外，在使用storm Java包中，backtype.storm.tuple主要有以下几个类：
– Fileds.class
– MessageId.class
– Tuple.class
– TupleImpl.class
– Values.class
列出以上内容是为了更好的理解tuple，这样能够从本质上理解tuple，在使用时更加得心应手。

1.3.tuple的生命周期
了解一个tuple的生命周期就需要查看源码，如下的java代码展示了spout接口发出tuple的整改过程

public interface ISpout extends Serializable{
     void open(Map conf,TopologyContext context,SpoutOutputCollector collector);
     void nextTuple();
     void ack(Object msgId);
     void fail(Object msgId);
     void close();
}

首先，storm调用Spout的nextTuple方法来获取下一个tuple，spout通过open方法的参数提供的SpoutOutputCollector将新tuple发射到其中一个输出消息流。

注意：
发射tuple时，spout提供一个message-id，通过这个id来追踪该tuple。

接下来，storm跟踪该tuple的树形结构是否成功创建，并根据messageid调用spout中的ack函数，以确认tuple是否被完全处理，如果tuple超时，则调用spout的fail方法。

由此看来，同一个tuple不管是acked,还是failed都是由创建它的spout发出并维护的，所以，即使spout在集群环境中同时执行很多的任务，该tuple也不会被其他任务调用或生成acked或failed状态，总之，storm会利用内部的acker机制保证每个tuple被可靠的处理，最后在完成任务后，spout调用close方法结束tuple的使用。

【转发1】Storm tuple发送机制
【转发2】Storm之tuple介绍