Spark对数据对核心抽象----弹性分布式数据集（Resilient Distributed Dataset，简称RDD）
RDD其实就是分布式对元素集合。
一个不可变对分布式对象集合，每个RDD都被分为多个分区，这些分区运行在集群的不同节点上。
在Sprak中，对数据对所有操作不外乎：创建RDD，转化已有RDD，调用RDD操作进行求值。
在一切对背后，Spark会自动将RDD中的数据分发到集群上，并将操作并行执行
1. 创建RDD：两种方法：读取一个外部数据集，或 在驱动器程序里分发驱动器程序中的对象集合（如list和set）
2. 操作RDD：两种类型的操作：转化操作（transformation）和 行动操作（action）
转化操作（transformation）：由一个RDD生成一个新的RDD
行动操作（action）：对RDD计算出一个结果，并将结果返回到驱动器程序中，或把结果存储到外部存储系统（如HDFS）中
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
