Spark RDD、DataSet、DataFrame--区别（个人理解）

描述：实验将系统数据分别转换成RDD，DataSet、DataFrame，然后进行比较，数据有四列，分别起名为a、b、c、d。

class People(a:String, b:String, c:String, d:String)

RDD：转换成RDD[People]后，发现每个记录为一个People对象，在进行map操作时候，若想对每个记录进行操作，必须通过map(p=>p.属性) 通过p.属性进行每个People对象操作。但是直接从RDD上来看，是看不出来People的属性。

scala> peoples

peoples  res20: org.apache.spark.rdd.RDD[People] = MapPartitionsRDD[2] at map at <console>:27

 

scala> peoples.map(p=>p.)

a   canEqual   equals         productElement    toString   

b   copy       hashCode       productIterator              
c   d          productArity   productPrefix                

scala> peoples.map(p=>p.)

 p.的候选项可以看出需要通过p.属性名操作记录对象的属性

DataFrame：转换成DataFrame后，每行为一个Row&#