离线计算?
离线计算:批量(batch)获取数据、批量传输数据、周期性批量计算数据、数据展示
代表技术:sqoop批量导入数据、HDFS批量存储数据、MapReduce批量计算数据、hive批量计算数据
- hivesql
- 调度平台
- hadoop集群运维
- 数据清洗(脚本语言)
- 元数据管理
- 数据稽查
- 数据仓库模型架构
流式计算?
流式计算:数据实时产生、数据实时传输、数据实时计算、实时展示
代表技术:Flume实时获取数据、
kafka/metaq实时数据存储、
storm/JStorm实时数据计算、
Redis实时结果缓存、
持久化存储(mysql)
离线计算与实时计算区别?
最大的区别:实时收集、实时计算、实时展示