Storm-入门

Storm是什么

1.  

Strom技术网站

1. 官网;srorm.apache.org
2. githup: guithup.com/apache/storm

Strom对比Hadoop

1. 数据源/处理领域：Hadoop数据存储在HDFS
2. 处理过程不同：
   1. hadoop:map+reduce
   2. Storm:spout+bolt
3. 进程是否结束
   1. Hadoop：启动的时候申请资源，作业全部跑完之后资源才可以释放
   2. Strom:没有结束状态
4. 处理速度
   1. Hadoop：
   2. Storm:HDFS上的TB级数据
5. 使用场景
   1. Storm:
      1. realtimr analytics
      2. online machine learning
      3. 不间断计算
      4. 分布式RPC
      5. ETL and more
   2. Hadoop:

Strom对比SparkStreaming

标题

 

Sparkstreaming是建立在spark的基础上，集合多种场景计算。一站式解决各种场景问题。storm在各种场景之间进行切换的时候需要

 

Storm的实时性高，结果直接落地。不需要进行下一步计算

Storm优势

1. 编程模型 spout+bolt
2. 扩展性：分布式
3. 可靠性：可以保证spout发出的数据仅仅可以处理一次。工作进程的可靠性。
4. 容错性：
5. 多语言：

Storm应用现状以及发展趋势

1. 应用现状
   1. 雅虎，推特。。。。
2. 发展趋势
   1. 免费开源分布式处理框架，依赖于社区的发展
   2. 企业的需求
   3. 大数据相关的大会，Storm主题的数量不断上升
   4. 互联网数据量增长庞大，阿里Jstorm

Storm应用案例

1. Storm在电商行业的应用
   1. 一淘实时分析系统
   2. 携程网站性能监控
   3. 阿里妈妈用户画像：用户兴趣基于用户的额历史行为，用户的实时查询，用户的实时点击，用户的地理信息。其中实时查询，实时点击等用户行为都是实时数据。
2. Storm在电信行业的应用
   1. 论文：
      1. 基于Storm的诈骗电话分析系统的设计与实现