SPARK初识

做项目基本流程
3、串联整个流程即标准化及正式上线
2、解决关键性问题
1、梳理数据流程
解决关键性问题
对比差异点
1、数据的文件组织形式不同
2、数据的数据格式不同
相同点
数据流程一样
数据目标也是一样
曝光
Exposure
广告领域专业术语
Pv:page visit,曝光一次即为一个pv。
Uv: uniq visit,或者叫user visit，
即用户去重后的统计。 
 Spark的背景、定义、特点
背景
MapReduce计算和磁盘交互
Spark计算和内存交互
Spark速度远远快于MapReduce
MapReduce，在机器学习、图计算等方面支持有限，性能效率表现比较差。
Spark Core：
包含Spark的基本功能；尤其是定义RDD(弹性分布式数据集，resilient distributed dataset)的API、操作以及这两者上的动作。其他Spark的库都是构建在RDD和Spark Core之上的
spark1.x与2.x的优缺点对比
优点
API抽象更高级、更统一，包括在spark-core,sparksql,sparksession等方面，学习更简单，开发效率更高，执行效率综合提升明显。
统一DataFrames和DataSets为DataSets，API进行了全部统一，简化学习和编程复杂度。
基本定位是低层API编程延用RDD，高级API编程均为DataSets，而大多数情况下用DataSets均可以解决问题。
spark-streaming基于spark sql进行了API更高级抽象，即structured streaming(结构化流式编程），易用性和性能提高。
对诸多组件中的旧的rdd计算逻辑用DataFrame或DataSet进行了重写优化，并扩充了更多的算法。
缺点
对以前版本不是完全兼容，只是绝大部分兼容。

阿里评测题。