Spark简介与计算模型

Spark简介与计算模型

①Spark简介

②计算模型

③开发环境的搭建

=>Spark简介

简介与功能

①是基于内存计算的大数据分布式计算框架。Spark基于内存计算，提高了在大数据环境下数据处理的实时性，同时保证高容错性和高可伸缩性，允许用户将Spark部署在大量廉价的硬件上，形成集群；

②分布式计算。将分布式的存储数据并行读入，并将任务分发到各个节点，进行并行运算；

③内存计算。将磁盘数据读入内存，并将计算结果缓存到内存中，可以很好的支持迭代运算；

④高容错性。CheckPoint保证丢失的数据通过记录等操作重新运算，实现数据恢复；

⑤多计算范式。streaming支持流式计算，sql提供sql查询

历史