Spark RDD详解

最新推荐文章于 2024-08-16 09:21:03 发布

通凡

最新推荐文章于 2024-08-16 09:21:03 发布

阅读量1.4w

点赞数 5

分类专栏： spark 文章标签： spark 分布式数据 dataset 内存

本文链接：https://blog.csdn.net/wangxiaotongfan/article/details/51395769

版权

RDD是Spark的核心，是只读、可分区的分布式数据集，支持容错。RDD通过血统（lineage）实现容错，通过窄依赖和宽依赖管理依赖关系。RDD缓存利用内存提高迭代计算效率，cache()方法标记RDD存储，任务调度考虑数据位置（Data Locality）以提高效率。RDD操作包括转换（Transformation）和行动（Action），转换是延迟执行的，行动触发计算。

摘要由CSDN通过智能技术生成

1、RDD是什么

RDD：Spark的核心概念是RDD (resilientdistributed dataset)，指的是一个只读的，可分区的分布式数据集，这个数据集的全部或部分可以缓存在内存中，在多次计算间重用。

RDD的描述

Internally, each RDD is characterized by five main properties:
- A list of partitions
- A function for computing each split
- A list of dependencies on other RDDs
- Optionally, a Partitioner for key-value RDDs (e.g. to say that the RDD is hash-partitioned)
- Optionally, a list of preferred locations to compute each split on (e.g. block locations for an HDFS file)

下面对RDD的五个特性进行解释：

1、有一个分片列表。就是能被切分，和hadoop一样的，能够切分的数据才能并行计算。
2、有一个函数计算每一个分片，这里指的是下面会提到的compute函数。
3、对其他的RDD的依赖列表，依赖还具体分为宽依赖和窄依赖，但并不是所有的RDD都有依赖。
4、可选：key-value型的RDD是根据哈希来分区的，类似于mapreduce当中的Paritioner接口，控制key分到哪个reduce。
5、可选：每一个分片的优先计算位置（preferred locations），比如HDFS的block的所在位置应该是优先计算的位置。(存储的是一个表，可以将处理的分区“本地化”)

  //只计算一次  
  protected def getPartitions: Array[Partition]  
  //对一个分片进行计算，得出一个可遍历的结果
  def compute(split: Partition, context: TaskContext): Iterator[T]
  //只计算一次，计算RDD对父RDD的依赖
  protected def getDependencies: Seq[Dependency[_]] = deps
  //可选的，分区的方法，针对第4点，类似于mapreduce当中的Paritioner接口，控制key分到哪个reduce
  @transient val partitioner: Option[Partitioner] = None
  //可选的，指定优先位置，输入参数是split分片，输出结果是一组优先的节点位置
  protected def getPreferredLocations(split: Partition):