Storm的基础知识-调度，并行，守护进程等（3）

调度Scheduler

Storm现在有4种内置调度程序：DefaultScheduler，IsolationScheduler，MultitenantScheduler，ResourceAwareScheduler。

Configuration

Storm有各种配置可用于调整nimbus, supervisors和running topologies的行为。 某些配置是系统配置，无法通过拓扑基础在拓扑上进行修改，而其他配置可以按拓扑进行修改。

守护进程容错

Storm有几个不同的守护进程。 Nimbus安排workers，Supervisors启动和杀死workers，log viewer提供日志访问权限，UI显示群集状态。

• workers死后会发生什么？

  当workers死亡时，Supervisors将重新启动它。如果它在启动时连续失败并且无法接受Nimbus的心跳，Nimbus将重新安排workers。

• 节点死亡时会发生什么？

  分配给该计算机的任务将超时，Nimbus会将这些任务重新分配给其他计算机。

• 当Nimbus或Supervisor守护进程死亡时会发生什么？

  Nimbus和Supervisor守护进程设计为快速失败（遇到任何意外情况时进程自毁）和无状态（所有状态保存在Zookeeper或磁盘上）。如 Setting up a Storm cluster，Nimbus和Supervisor守护程序在如daemontools或monit之类的工具监督下运行。因此，如果Nimbus或Supervisor守护进程死亡，它们会重新启动，就像什么都没发生一样。

  最值得注意的是，Nimbus或Supervisor的死亡不会影响workers进程。

• Nimbus是单点故障吗？

  如果丢失了Nimbus节点，workers仍将继续运行。此外，如果workers死亡，Supervisor将继续重新启动workers。但是，如果没有Nimbus，workers将不会在必要时重新分配给其他计算机（例如，如果您丢失了工作机器）。

  Storm Nimbus自1.0.0以来一直很受欢迎。更多信息请参阅Nimbus HA Design文档。

• Storm如何保证数据处理？

  Storm提供了保证数据处理的机制，即使节点死亡或消息丢失也是如此。有关详细信息，请参阅保证消息处理。

Storm UI REST API

Storm UI守护程序提供REST API，允许您与Storm集群进行交互，其中包括检索度量数据和配置信息以及管理操作（如启动或停止拓扑）。

Understanding the parallelism of a Storm topology

运行拓扑的构成是：工作进程，执行程序和任务
What makes a running topology: worker processes, executors and tasks

Storm区分以下三个主要实体，这些实体用于在Storm集群中实际运行拓扑：

• 工人流程Worker processes
• 执行者（线程）Executors (threads)
• 任务Tasks

以下是他们关系的简单说明：

一个工作进程执行拓扑的一个子集。一个工作进程属于特定拓扑，并且可以为该拓扑的一个或多个组件（Spout或Bolt）运行一个或多个执行器。一个正在运行的拓扑包含许多在Storm集群中的许多计算机上运行的此类进程。

一个执行者executor是一个线程，它是由一个worker进程催生的。它可以为同一组件（Spout或Bolt）运行一个或多个任务。

一个任务 task 执行实际的数据处理-在代码中实现的每个spout或bolt都会在整个群集中执行尽可能多的任务。在拓扑的整个生命周期中，组件的任务数始终相同，但组件的执行程序（线程）数量可能会随时间而变化。这意味着以下条件成立：#threads ≤ #tasks。默认情况下，任务数设置为与执行程序数相同，即Storm中每个线程运行一个任务。

配置拓扑的并行性

请注意，在Storm的术语中，“并行性”专门用于描述所谓的并行性提示，这意味着组件的执行者（线程）的初始数量。在本文档中，虽然我们在更一般意义上使用术语“并行性”来描述如何不仅可以配置执行程序的数量，还可以配置工作进程的数量和Storm拓扑的任务数量。我们将特别提到当“平行主义”用于正常，狭隘的Storm定义时。

以下部分概述了各种配置选项以及如何在代码中设置它们。虽然设置这些选项的方法不止一种，但表中只列出了其中一些选项。Storm当前具有以下配置设置优先顺序：defaults.yaml< storm.yaml<拓扑特定配置<内部组件特定配置<外部组件特定配置。

工作进程数

• 描述：为群集中的计算机上的拓扑创建多少个工作进程。
• 配置选项：TOPOLOGY_WORKERS
• 如何设置代码：配置＃setNumWorkers

执行者数（线程数）

• 描述：每个组件生成多少个执行程序。
• 配置选项：无（将parallelism_hint参数传递给setSpout或setBolt）
• 如何设置代码（示例）：
  TopologyBuilder＃setSpout（）
  TopologyBuilder＃setBolt（）

请注意，从Storm 0.8开始，parallelism_hint参数现在指定该Bolt的执行者的初始数量（不是任务！）。

任务数量

• 描述：每个组件创建多少个任务。

• 配置选项：TOPOLOGY_TASKS

• 如何设置代码（示例）：

  • ComponentConfigurationDeclarer＃setNumTasks（）

  • 以下是在实践中显示这些设置的示例代码段：

topologyBuilder.setBolt("green-bolt", new GreenBolt(), 2).setNumTasks(4).shuffleGrouping("blue-spout");

在上面的代码中，我们配置了Storm来运行GreenBolt，它初始带有两个执行器和四个相关任务 。Storm中每个执行程序（线程）运行两个任务。如果您没有明确配置任务数，Storm将默认每个执行程序一个任务。

运行拓扑的示例

下图显示了简单拓扑在操作中的外观。拓扑结构由三个部分组成：一个叫做spout BlueSpout，两个叫做GreenBolt和YellowBolt。组件被链接，以便BlueSpout将其输出发送到GreenBolt，然后将其自己的输出发送到YellowBolt。

在GreenBolt被配置为每代码段以上而BlueSpout和YellowBolt仅设置并行提示（执行人数）。这是相关代码：

Config conf = new Config();
conf.setNumWorkers(2); // use two worker processes

topologyBuilder.setSpout("blue-spout", new BlueSpout(), 2); // set parallelism hint to 2

topologyBuilder.setBolt("green-bolt", new GreenBolt(), 2)
               .setNumTasks(4)
               .shuffleGrouping("blue-spout");

topologyBuilder.setBolt("yellow-bolt", new YellowBolt(), 6)
               .shuffleGrouping("green-bolt");

StormSubmitter.submitTopology(
        "mytopology",
        conf,
        topologyBuilder.createTopology()
    );

当然，Storm附带了额外的配置设置来控制拓扑的并行性，包括：

• TOPOLOGY_MAX_TASK_PARALLELISM：此设置为可以为单个组件生成的执行程序数量设置上限。它通常在测试期间用于限制在本地模式下运行拓扑时产生的线程数。您可以通过例如Config＃setMaxTaskParallelism（）设置此选项。

如何更改正在运行的拓扑的并行性

Storm的一个很好的功能是，您可以增加或减少工作进程和/或执行程序的数量，而无需重新启动集群或拓扑。这样做的行为称为再平衡。

您有两种方法可以重新平衡拓扑：

• 使用Storm Web UI重新平衡拓扑。

• 使用CLI工具风暴重新平衡，如下所述。

  • 以下是使用CLI工具的示例：

Reconfigure the topology "mytopology" to use 5 worker processes,
 the spout "blue-spout" to use 3 executors and
 the bolt "yellow-bolt" to use 10 executors.```

Storm API文档，最值得注意的是类Config

常问问题

最佳实践