storm的官网:
http://storm.apache.org/
storm: 免费|开源|分布式|实时计算系统,能实现高频数据和大规模数据的实时处理。
需求:大数据的实时处理。
自己来实现实时系统,考虑的因素:
1)健壮性。
2)扩展性/分布式。
3)如何使得数据不丢失,不重复。
4)高性能,低延时。
Storm开源:
2011.9
Apache
Clojure Java
Storm技术网站:
1)官网: http://storm.apache.org/
2)GitHub: https://github.com/apache/storm
Storm vs Hadoop:
Hadoop:离线批处理,Map(拆分复杂任务成若干简单任务进行计算) Reduce(将map阶段的结果进行汇总),hadoop相当于电梯,进程进去时启动,出来时关闭。
Storm: 实时数据的处理 Spoult(数据源) Bolt(处理逻辑),storm相当于扶梯,一直在跑。
Storm vs Speaking Streaming
Speaking Streaming 不是一个真的实时处理,只是一个小批处理。
Storm 处理是毫秒,秒级别,流式处理。
Storm入门
Storm优势:
编程模型。
扩展性。
可靠性。
容错性。
多语言。
发展趋势:
1)社区的发展,活跃度。
2)企业的需求。
3)大数据相关的大会,Storm主题的数量上升。
4)互联网 Jstorm(阿里妈妈)
应用案例:
电商行业的应用:
电信行业的应用:
电话诈骗。