storm一之storm是什么

Apache storm是什么?
Apache storm是一个分布式实时大数据处理系统。storm的目的是提供容错和水平可伸缩扩展的方式处理大量数据。storm是一个高吞吐率流数据处理框架。虽然storm是无状态的,它通过Apache zookeeper管理分布式环境和集群状态。storm很简单，可以对实时数据并行的进行各种各样的操作。

 

Apache storm是实时数据分析领域是领跑者。storm很容易安装,操作,并且能够保证每条消息被topology至少处理一次。

 

Apache Storm vs Hadoop

通常Hadoop和storm框架被用于分析大数据。

两者是相辅相成的,但在某些方面有所不同。

Apache storm除了持久性外支持所有的操作,而Hadoop擅长处理非实时计算的所有操作。

下表比较了storm和Hadoop的特性：

Storm	Hadoop
实时流处理	批处理
无状态的	有状态
基于zookeeper协调服务的主/从架构。 主节点是nimbus,从节点是supervisors	可基于zookeeper协调管理的主从架构(也可以不用zookeeper管理)。 主节点是jobTracker,从节点是taskTracker。 (备注：这个是基于hadoop1.版本) Hadoop2.x版本中，用yarn管理，resourcemanager和nodemanager
集群上,Storm流处理每秒可以处理数以万计的数据。	Hadoop分布式文件系统(HDFS)使用MapReduce框架来处理大量的数据,处理工程可能需要几分钟或几小时。
Storm topology一直运行,直到由用户关闭或意想不到的不可恢复的故障才会停止。	MapReduce任务按顺序执行至完成。
Hadoop和storm都支持分布式和容错机制
如果nimbus/supervisors停止运行,重启后,数据会在停止的地方继续处理,即处理是可恢复的,因此没有什么影响。	如果JobTracker死了,所有正在运行的工作都会丢失,即任务是不可恢复的.

 

Use-Cases of Apache Storm

Storm使用案例

Apache storm是非常有名的实时大数据流处理框架。

因此,大部分的公司都使用storm作为他们系统的一个组成部分。

一些著名的例子如下−

 

Twitter − Twitter使用Apache storm的 “Publisher Analytics products”。

NaviSite−NaviSite使用storm处理事件日志监控/审计。

Wego−Wego是一个位于新加坡的旅游搜索引擎。

 

Apache Storm Benefits

Apache storm的好处

这里是Apache storm提供好处的一个列表：

1.Storm是开源,健壮和用户友好的。大小公司都适用。

2.Storm是具备容错机制、灵活、可靠和支持任何编程语言的流处理框架。

3.允许实时流处理。

4.Storm处理速度非常快,因为它拥有巨大的处理数据的能力。

5.Storm甚至可以保持性能随着负载的增加线性增加。它是高度可伸缩的。

6.Storm的响应时间为秒或分钟取决于执行数据刷新和端到端交付能力。

它有非常低的延迟。

7.Storm具有智能操作的能力

8.当集群中有节点宕机或消息丢失时,Storm依旧能保证数据的正常处理。