storm学习笔记

1、基础概念

元组：消息传递的基本单元，支持所有的基本类型、字符串和字节数组作为字段值。

流：流由元组组成，spout是流的源头从外部数据源读取元组并emit到拓扑中，bolt接收任何数量的输入流执行处理后可能提交新的流。

Spout:spout是拓扑的流的来源，是一个拓扑中产生源数据流的组件。spout的主要方法是nextTuple(),它会发出一个新的Tuple到拓扑，如果没有新的元组发出，则简单的返回。spout的其他主要方法是ack()和fail(),当storm检测到一个元组从spout发出时，ack()和fail()会被调用，要么成功完成通过拓扑，要么未能完成。ack()和fail()仅被可靠的spout调用。IRichSpout是Spout必须实现的接口。

Bolt:在拓扑中的所有处理都在Bolt中完成，Bolt是流的处理节点，从一个拓扑接收数据，然后执行进行处理的组件。Bolt的主要方法是execute()，该方法将一个新的元组作为输入。IRichBolt是Bolt的通用接口。

Topology:拓扑是Storm中运行的一个实时应用程序，因为各个组件间的消息流动而形成逻辑上的拓扑结构。

主控节点与工作节点：Storm集群中有两类节点：主控节点和工作节点，主控节点只有一个工作节点可以有很多个。

Nimbus进程与Supervisor进程：主控节点运行一个称为Nimbus的守护进程，Nimbus负责在集群中分发代码，对节点分配任务，并监视主机故障。每一个工作节点运行一个称为Supervisor的守护进程，Supervisor监听其主机上已经分配的主机作业，启动和停止Nimbus已经分配的工作进程。

流分组：拓扑定义的一部分，为每个Bolt指定应该接收哪个流作为输入，storm内置了8中流分组方式。

工作进程：worker是spout/bolt中运行具体处理逻辑的进程。

任务：worker中每一个spout/bolt的线程称为一个任务。

执行器：在storm0.8以后，task不再与物理线程对应，同一个spout/bolt的task可能会共享一个物理线程，该线程称为执行器。

可靠性：storm保证每一个spout元组将被拓扑完全可靠地处理，它跟踪每个spout元组的元组树，检测树中的元组什么时候可以成功完成。每个拓扑都有“消息超时时间”，如果storm在超时之前未能检测到spout已经完成，那么会设元组为失败并在之后重新发射它。

2、本地及生产环境运行拓扑

本地运行拓扑：

Config conf = new Config();
conf.setDebug(true);//每一个组件发射消息都让storm记录到日志中
conf.setNumWorkers(2);//设置进程数执行拓扑
LocalCluster cluster = new LocalCluster();
cluster.submitTopology("test",conf,builder.createTopology());
Utils.sleep(10000);
cluster.killTopology("test");
cluster.shutdown();

生产集群运行拓扑：

Config conf = new Config();
conf.setNumWorkers(20);//设置进程数执行拓扑
conf.setMaxSpoutPending(5000);//设置一个spout task上面最多有多少个没有处理的tuple
StormSubmitter.submitTopology("test",conf,topology);