Storm介绍和发展

1. 什么是storm?

Apache Storm是一个免费的、开源的分布式实时计算系统。Storm使得可靠地处理无界数据流变得很容易,可以实时处理Hadoop对批处理的处理。Storm是简单的,可以与任何编程语言一起使用,并且使用起来非常有趣!
Storm有很多用例:实时分析、在线机器学习、持续计算、分布式RPC、ETL等等。Storm是非常快的:一个基准在每一个节点每秒处理超过100万个元组。它是可伸缩的、容错的,保证您的数据将被处理,并且易于设置和操作。

Storm集成了队列和数据库技术。风暴拓扑使用数据流,并以任意复杂的方式处理这些流,在计算的每个阶段之间重新划分流。

Storm能实现高频数据和大规模数据实时处理。

2. 发展历史

Storm产生于BackType被Twitter收购。是根据需求(大数据实时处理)发展而来的。

https://www.oschina.net/translate/history-of-apache-storm-and-lessons-learned

假如自己来实现实时系统,要考虑的因素:

1)健壮性

2)扩展性/分布式

3)如何使得数据不丢失,不重复

4)高性能、低延迟

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值