Spark简介与计算模型
①Spark简介
②计算模型
③开发环境的搭建
=>Spark简介
简介与功能
①是基于内存计算的大数据分布式计算框架。Spark基于内存计算,提高了在大数据环境下数据处理的实时性,同时保证高容错性和高可伸缩性,允许用户将Spark部署在大量廉价的硬件上,形成集群;
②分布式计算。将分布式的存储数据并行读入,并将任务分发到各个节点,进行并行运算;
③内存计算。将磁盘数据读入内存,并将计算结果缓存到内存中,可以很好的支持迭代运算;
④高容错性。CheckPoint保证丢失的数据通过记录等操作重新运算,实现数据恢复;
⑤多计算范式。streaming支持流式计算,sql提供sql查询
历史