Spark视频王家林大神第1课： 30分钟彻底理解Spark核心API发展史：RDD、DataFrame、DataSet

Spark视频王家林大神第1课： 30分钟彻底理解Spark核心API发展史：RDD、DataFrame、DataSet

本节通过Spark核心API的发展史，带领大家学习和理解Spark的内幕，在Spark的发展史上，经历了三代API：第一代是RDD、第二代是DataFrame、第三代是DataSet。RDD是Spark中绝对的核心和基础性的抽象，DataFrame是Spark 1.3.x推出的，为了处理交互型的关系数据库的数据，数据可以来源于Oracle、Mysql或者JSON，可以支撑各种格式，也可来自于RDD，或者HDFS的分布式文件系统；Spark 1.6.x的时候推出了第三代关键性的DataSet。之所以在机器学习的第一节以RDD第一代的核心API、DataFrame第二代的核心API、以及Spark1.6.x推出的实验性API并在Spark 2.x成熟的DataSet，以此为一条线贯通Spark前前后后的内容，有几个方面的原因：

1）第一点：作为开发者，无论是做机器学习的开发还是做其他方面的开发，Spark

这三代API都是绕不过去的，开发者必须首先理解这三代API。

2）第二点：我们编写代码的时候，不同的Spark版本，例如：Spark 1.3.x之前的

版本，Spark 1.3.x到Spark 1.6.x之间的版本，以及已经推出的Spark 2.0.x的版本，这三代API的编程风格虽然有一定的相似性，但是有所差异的。从第二个方面的角度考虑，我们写代码绕不开这三代API，而每一代API都带来了性能的极大提升。如果有机器学习的开发经验，体验应是非常的深刻，分布式系统性能一定是第一位的