- 博客(3)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 深入理解Spark RDD——RDD信息对象
RDDInfo用于描述RDD的信息，RDDInfo提供的信息如下：id：RDD的id。 name：RDD的名称。 numPartitions：RDD的分区数量。 storageLevel：RDD的存储级别（即StorageLevel）。 parentIds：RDD的父亲RDD的id序列。这说明一个RDD会有零到多个父RDD。 callSite：RDD的用户调用栈信息。 scope：...
2019-08-16 11:20:53
3183
1
原创 深入理解Spark RDD——RDD分区计算器Partitioner
在《深入理解Spark RDD——RDD依赖（构建DAG的关键）》一文，详细描述了RDD的宽窄依赖。RDD之间的依赖关系如果是Shuffle依赖，那么上游RDD该如何确定每个分区的输出将交由下游RDD的哪些分区呢？或者下游RDD的各个分区将具体依赖于上游RDD的哪些分区呢？Spark提供了分区计算器来解决这个问题。ShuffleDependency的partitioner属性的类型是Partiti...
2019-08-16 11:14:50
2561
原创 深入理解Spark RDD——RDD依赖（构建DAG的关键）
在《深入理解Spark RDD——为什么需要RDD?》一文我们解释了为什么需要RDD，并且在《深入理解Spark RDD——RDD实现的初次分析》一文对RDD进行了基本的分析，本文将继续对RDD的依赖实现进行分析。正是由于RDD之间具有依赖关系，才能进而转换为调度中的DAG。DAG中的各个RDD之间存在着依赖关系。换言之，正是RDD之间的依赖关系构建了由RDD所组成的DAG。Spark使用De...
2019-08-12 15:31:53
2063
3
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人