ELK之JStorm

参考网址：https://www.cnblogs.com/hzorac/p/5570723.html

1 Storm和JStorm简介

Storm是开源的分布式容错实时计算系统，为分布式实时计算提供了一组通用原语，可被用于“流处理”之中，实时处理消息；Storm也可被用于“连续计算”（continuous computation），对数据流做连续处理，在计算时就将结果以流的形式输出给用户；它还可被用于“分布式RPC”，以并行的方式执行运算。

Storm主要特点如下：

0、简单的编程模型。类似于MapReduce降低了并行批处理复杂性，Storm降低了实时处理的复杂性。

1、语言无关。Storm的消息处理组件可以用任何语言来定义。默认支持Clojure、Java、Ruby和Python。要增加对其他语言的支持，只需实现一个简单的Storm通信协议即可。

2、容错性。如果在消息处理过程中出了一些异常，Storm会重新调度出问题的处理逻辑。Storm保证一个处理单元永远运行，除非显式杀掉。

3、可伸缩性。Storm的可伸缩性可以使其每秒处理的消息量达到很高。为了扩展一个实时计算任务，需要做的就是增加节点并且提高计算任务的并行度设置(parallelism setting)。Storm应用在10个节点的集群上每秒可以处理高达1000000个消息，包括每秒一百多次的数据库调用。同时Storm使用ZooKeeper来协调集群内的各种配置使得Storm的集群可以很容易扩展。

4、保证无数据丢失。实时系统必须保证所有的数据被成功的处理。 那些会丢失数据的系统的适用场景非常窄，而Storm保证每一条消息都会被处理。

5、适用场景广泛。消息流处理、持续计算、分布式方法调用等是Storm适用场景广泛的基础，Storm的这些基础原语可以满足大量的场景。

虽然Storm具备诸多优势，但也存在不足：

0、Storm目前还存在Nimbus SPOF的问题；

1、存在雪崩问题；

2、资源粒度较粗；

3、Clojure实现引入了学习成本；

 

<