离线计算与流式计算的区别

1.离线计算:
批量获取数据,批量传输数据,周期性批量计算数据,数据展示
代表技术,flume采集数据,hdfs批量存储数据,mapreduce批量计算数据,hive批量计算数据,task任务调度,sqoop批量导入数据.

公司职位:
hivesql
调度平台
Hadoop集群运维
数据清洗（脚本语言）
元数据管理
数据稽查
数据仓库模型架构

2.流式计算：
数据实时产生、数据实时传输、数据实时计算、实时展示
代表技术：Flume实时获取数据、Kafka/metaq实时数据存储、Storm/JStorm实时数据计算、Redis实时结果缓存、持久化存储(mysql)。
一句话总结：将源源不断产生的数据实时收集并实时计算，尽可能快的得到计算结果