一、sparkRDD概念
RDD(Resilient Distributed Dataset)叫做弹性分布式数据集,是spark中最基本也是最重要的概念之一。它是spark中一种基本的数据抽象,有容错机制并可以被并行操作的元素集合,具有只读、分区、容错、高效、无需物化、可以缓存、RDD依赖等特征。RDD的知识较为庞杂,这里只能按我了解的做一些简单介绍。
二、一些基本的熟悉和概念
1、partition
一份待处理的原始数据会被按照相应的逻辑(例如jdbc和hdfs的split逻辑)切分成n份,每份数据对应到RDD中的一个Partition,Partition的数量决定了task的数量(一个partition对应一个task),影响着程序的并行度。一个RDD是有n个partition组成。
2、operater算子
算子是spark中对一些数据处理的常用操作的抽象,spark算子分为两类:transform和action
transform算子是一种延迟性操作,也就是把一个RDD转换成另外一个RDD而不是马上执行,不会提交job。常用的有:map,flatmap,join,groupBykey等。
action算子会对RDD 计算出一个结果,并把结果返回到驱动器程序中,或把结果存储到外部存储系统(如 HDFS)中。每有一个action便会提交一个job。常用的有reduce,collect,count,take等。
3、lineage和cache缓存机制
lineage叫做逻辑执行计划,通过DAG(有向无环图)对RDD间关系的建模,描述RDD间的依赖关系