Spark RDD入门详解

版权声明:本文为博主原创文章,遵循 CC 4.0 by-sa 版权协议,转载请附上原文出处链接和本声明。
本文链接:https://blog.csdn.net/wxycx11111/article/details/79123482

1Spark RDD概念

RDD即弹性分布式数据集,有容错机制并可以被并行操作的元素集合,具有只读、分区、容错、高效、无需物化、可以缓存、RDD依赖等特征。RDD只是数据集的抽象,分区内部并不会存储具体的数据。

2Spark RDD分类

1)并行集合

接收一个已经存在的Scala集合,然后进行各种并行计算。

并行化集合是通过调用SparkContextparallelize方法,在一个已经存在的Scala集合上创建(一个Seq对象)。集合的对象将会被拷贝,创建出一个可以被并行操作的分布式数据集。

2Hadoop数据集

Spark可以将任何Hadoop所支持的存储资源转化成RDD,只要文件系统是HDFS,或者Hadoop支持的任意存储系统即可,如本地文件(需要网络文件系统,所有的节点都必须能访问到)、HDFSCassandraHBaseAmazon S3等,Spark支持文本文件、SequenceFiles和任何Hadoop InputFormat格式。

此两种类型的RDD都可以通过相同的方式进行操作,从而获得子RDD等一系列拓展,形成lineage血统关系图。

3Spark RDD算子

1Transformation

不触发提交作业,完成作业中间处理过程。

[1]Value数据类型

输入分区与输出分区一对一型:mapflatMapmapPartitionsglom

输入分区与输出分区多对一型:unioncartesian

输入分区与输出分区一对多型:groupBy

输出分区为输入分区子集型:filterdistinctsubtractsampletakeSample

Cache型:cachepersist

[2]Key-Value数据类型

一对一:mapValues

聚集:combineByKeyreduceByKeypartitionBy、cogroup

连接:joinleftOutJoinrightOutJoin

2Action

会触发SparkContext提交Job作业。

无输出类型:foreach

HDFS类型:saveAsTextFilesaveAsObjectFile

Scala类型:collectcollectAsMapreduceByKeyLocallylookupcounttopreducefoldaggregate

4Spark RDD机制

1)依赖机制

RDD可以相互依赖。

RDD的每个分区最多只能被一个Child RDD的一个分区使用,则称之为narrow dependency;若多个Child RDD分区都可以依赖,则称之为wide dependency

不同操作依据其特性,可能会产生不同的依赖,例如map操作会产生narrow dep,而join操作则产生wide dep

2)分区机制

【后续补充】

3)缓存机制

Spark可以使用persistcache方法将任意RDD缓存到内存、磁盘文件系统中。

缓存是容错的,如果一个RDD分片丢失,可以通过构建它的transformation自动重构。

被缓存的RDD被使用时,存取速度会大大提速。

一般的excutor内存60%cache,剩下的40%task

展开阅读全文

没有更多推荐了,返回首页