Spark1

Hadoop历史

2003,2004 Google2篇论文
2011年发布1.0版本
2012年发布稳定版
2013年发布2.x版本(Yarn）

MR的缺点：
mr基于数据集的计算，所以面向数据
1.基本运算规则从存储介质中获取（采集）数据，然后进行计算，最后将结果存储到介质中，所以主要应用于一次性计算，不适合于数据挖掘和机器学习这样的迭代计算和图形挖掘计算。
2.MR基于文件存储介质的操作，所以性能非常的慢
3.MR和Hadoop紧密耦合在一起，无法动态替换。

2013年发2.x版本(Yarn)

Spark历史

Spark基于Hadoop1.x架构思想，采用自己的方式改善Hadoop1.x中的问题，
Spark计算基于内存，并且基于Scala语法开发，所以天生适合迭代计算。

wordcount执行流程图

Yarn-client模式提交任务

相关概念

移动数据不如移动计算：优先位置
算子：从认知心理学角度，解决问题其实是将问题的初始状态，通过一系列的操作（Operate）（算子）对问题的状态进行转换，然后达到完成（解决）状态。
Spark中的所有的RDD方法都称为算子，分为两大类：action,transformation

RDD的创建

从外部存储中创建

Spark三大数据结构

RDD:分布式数据集
广播变量：分布式只读共享变量
累积器：分布式只写共享变量