java storm是干什么的_实时计算入门篇-了解storm

离线计算

最近在了解离线系统，根据自己的了解，以及参考网上的相关资料，总结了相关知识，供刚入门的同学们了解。

离线计算，就是批量获取数据、批量传输数据、周期性批量计算数据、数据展示，相信大家在了解实时计算的时候肯定对离线计算有一定的了解了，比如Sqoop批量导入数据、HDFS批量存储数据、MapReduce批量计算数据、Hive批量计算数据、任务调度等技术(zakaban)，这些都是离线计算

流式计算

流式计算，数据实时产生、数据实时传输、数据实时计算、实时展示。Flume实时获取数据、Kafka/metaq实时数据存储、Storm/JStorm实时数据计算、Redis实时结果缓存、持久化存储(mysql)，总结一句话就是将源源不断产生的数据实时收集并实时计算，尽可能快的得到计算结果

Storm什么

Flume实时采集，低延迟

Kafka消息队列，低延迟

Storm实时计算，低延迟

Redis实时存储，低延迟

Storm用来实时处理数据，特点：低延迟、高可用、分布式、可扩展、数据不丢失。提供简单容易理解的接口，便于开发。海量数据？数据类型很多，产生数据的终端很多，处理数据能力增强。相对于我们之前的Hadoop技术，我们可以发现Storm用于实时计算，Hadoop用于离线计算，Storm处理的数据保存在内存中，源源不断；Hadoop处理的数据保存在文件系统中，一批一批。Storm的数据通过网络传输进来；Hadoop的数据保存在磁盘中，不过有一点 Storm与Hadoop的编程模型相似，如图说明