RDD概述

1.1 什么是RDD

        RDD（Resilient Distributed Dataset）叫做分布是数据集，是Spark中最基本的数据抽象，它代表一个不可变、可分区、里面的元素可并行计算的集合。在Spark中，对数据的所有操作不外乎创建RDD、转换（算子）已有的RDD以及调用RDD操作进行求值（执行）。每个RDD都被分为多个分区，这些分区运行在集群中的不同节点上。RDD可以包含Python、java、Scala中任意类型的对象，甚至可以包含用户自定义的对象。甚至可以包含用户自定义法的对象。RDD具有数据流模型的的特点：自动容错。位置感知性调度和可伸缩性。RDD允许用户在指定多个查询时显式地将工作机缓存在内存中，后续的查询后续的查询能够重用工作集，这极大地提升了查询速度。