Spark操作的核心是RDD，一种有容错机制的并行数据集合。可以通过并行集合（如调用SparkContext的parallelize方法）和Hadoop数据集（如textFile和sequenceFile）来创建RDD。并行集合允许从现有Scala集合创建分布式数据，而Hadoop数据集支持从Hadoop支持的各种存储系统中读取数据。
Spark所有的操作都围绕弹性分布式数据集（RDD）进行，这是一个有容错机制并可以被并行操作的元素集合，
具有只读、分区、容错、高效、无需物化、可以缓存、RDD依赖等特征。
目前有两种类型的基础RDD：
并行集合（Parallelized Collections）：接收一个已经存在的Scala集合，然后进行各种并行计算。
Hadoop数据集（Hadoop Datasets） ：在一个文件的每条记录上运行函数。只要文件系统是HDFS，
或者hadoop支持的任意存储系统即可。
这两种类型的RDD都可以通过相同的方式进行
订阅专栏 解锁全文
扫一扫
781
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
