1、DataFrame的概念？

2019独角兽企业重金招聘Python工程师标准>>>

1：DataFrame也是一个分布式数据集，继承了RDD，和RDD不同的是他有“表头”描述着这个表的信息。 这个表有什么字段，这些字段是那些类型。

2：DataFrame其实它是通过RDD的map方法读取每一条数据，然后把他存到“case class”中。最后通过这个RDD的toDF方法产生的。 由于case class 中有属性字段，而且这些字段的类型都有了，是不是就是表结构？？ 除了case class 外，还可以使用structType产生Schema来结合RDD产生。

注意：可以使用DataFrame的前提是你的数据是经过“预处理之后的结构化数据”，所以首先是需要使用RDD来对数据进行清洗、过滤等操作。

转载于:https://my.oschina.net/liufukin/blog/795799