1.离线计算:
批量获取数据,批量传输数据,周期性批量计算数据,数据展示
代表技术,flume采集数据,hdfs批量存储数据,mapreduce批量计算数据,hive批量计算数据,task任务调度,sqoop批量导入数据.
公司职位:
hivesql
调度平台
Hadoop集群运维
数据清洗(脚本语言)
元数据管理
数据稽查
数据仓库模型架构
2.流式计算:
数据实时产生、数据实时传输、数据实时计算、实时展示
代表技术:Flume实时获取数据、Kafka/metaq实时数据存储、Storm/JStorm实时数据计算、Redis实时结果缓存、持久化存储(mysql)。
一句话总结:将源源不断产生的数据实时收集并实时计算,尽可能快的得到计算结果