Spark基础与Java Api介绍

一、Spark简介

　　1、什么是Spark

　　　　发源于AMPLab实验室的分布式内存计算平台，它克服了MapReduce在迭代式计算和交互式计算方面的不足。

　　　　相比于MapReduce，Spark能充分利用内存资源提高计算效率。

　　2、Spark计算框架

　　　　Driver程序启动很多workers,然后workers在（分布式）文件系统中读取数据后转化为RDD（弹性分布式数据集），最后对RDD在内存中进行缓存和计算

3、为什么Spark计算速度快

　　　　（1）内存计算

　　　　（2）优化执行计划

4、Spark Api语言支持

　　　　（1）Scala

　　　　（2）Java

　　　　（3）Python

5、怎么运行Spark

　　　　Local本地模式、Spark独立集群、Mesos、Yarn-Standalone、Yarn-Client

转载于：https://www.cnblogs.com/tovin/p/3832405.html