Spark

RDD与DataFream

使用场景：

1）RDD
a 你希望可以对你的数据集进行最基本的转换、处理和控制；
b 你的数据是非结构化的，比如流媒体或者字符流；
c 你想通过函数式编程而不是特定领域内的表达来处理你的数据；
d 你不希望像进行列式处理一样定义一个模式，通过名字或字段来处理或访问数据属性；
e 你并不在意通过 DataFrame 和 Dataset 进行结构化和半结构化数据处理所能获得的一些优化和性能上的好处；
2)DataFream
当读取的数据是结构化或半结构化的数据优先使用DataFream设计 DataFrame 的目的就是要让对大型数据集的处理变得更简单，它让开发者可以为分布式的数据集指定一个模式，进行更高层次的抽象。

区别

1）提升执行效率
2）减少数据读取
3）执行优化