Storm用于实时处理,就好比 Hadoop 用于批处理。
--> 离线计算:批量获取数据,批量传输数据,周期性比量计算数据,数据展示(Sqoop-->HDFS--> MR ---> HDFS)
--- 代表技术:
-- Sqoop 批量导入数据
-- HDFS 批量存储数据
-- MapReduce 批量计算
-- Hive
--> 流式计算:数据实时产生,数据实时传输,数据实时计算,实时展示(Flume ---> Kafka ---> 流式计算 ---> Redis)
--- 代表技术:
-- Flume 实时获取数据
-- Kafka/metaq 实时数据存储
-- Storm/JStorm 实时数据计算
-- Redis 实时结果缓存,持久化存储(MySQL)
===> Storm 与 Hadoop 的区别
-->