在大数据系统处理方面,主要处理的是三大类数据:
复杂的批量数据处理; -----------------------数十分钟 --->数小时,MR模型,spark core
基于历史数据的交互式查询;--------------------数十分钟 --->数分钟,hive,Impala,spark SQL
基于事实数据流的数据处理。--------------------百毫秒--->数秒 , storm,spark streaming
一:spark 生态系统
二:spark系统架构(运行架构)