1、RDD概述
RDD(Resilient Distributed Dataset)叫做分布式数据集,是Spark中最基本的数据抽象。代码中是一个抽象类,它代表一个不可变、可分区、里面的元素可并行计算的集合。
2、RDD属性、特点
RDD表示只读的分区的数据集,对RDD进行改动,只能通过RDD的转换操作,由一个RDD得到一个新的RDD,新的RDD包含了从其他RDD衍生所必需的信息。RDDs之间存在依赖,RDD的执行是按照血缘关系延时计算的。如果血缘关系较长,可以通过持久化RDD来切断血缘关系。
1)分区
2)只读
RDD的操作算子包括两类,一类叫做transformations,它是用来将RDD进行转化,构建RDD的血缘关系;另一类叫做actions,它是用来触发RDD的计算,得到RDD的相关计算结果或者将RDD保存的文件系统中。
3)依赖
依赖包括两种,一种是窄依赖,RDDs之间分区是一一对应的,另一种是宽依赖(一个可以引出多个)
4)缓存
如果在应用程序中多次使用同一个RDD,可以将该RDD缓存起来
5)CheckPoint
有时需要通过非常长的血缘关系去重建,势必影响性能。为此,RDD支持checkpoint将数据保存到持久化的存储中,这样就可以切断之前的血缘关系,因为checkpoint后的RDD不需要知道它的父RDDs了,它可以从checkpoint处拿到数据。
3、RDD编程
在Spark中,只有遇到action,才会执行RDD的计算
RDD的创建:有三种
1)从集合中创建
Spark主要提供了两种函数:parallelize和makeRDD
使用parallelize()从集合创建,val rdd = sc.parallelize(Array(1,2,3,4,5,6,7,8))
使用makeRDD()从集合创建,val rdd1 = sc.makeRDD(Array(1,2,3,4,5,6,7,8))
2)从外部存储创建
包括本地的文件系统,还有所有Hadoop支持的数据集,比如HDFS、Cassandra、HBase等
val rdd2= sc.textFile("hdfs://hadoop102:9000/RELEASE")
3)从其他RDD创建
4、RDD的转换
RDD整体上分为Value类型和Key-Value类型
Value类型
1)map(func)案例
作用:返回一个新的RDD,该RDD由每一个输入元素经过func函数转换后组成
2) mapPartitions(func) 案例
作用:类似于map,但独立地在RDD的每一个分片上运行,因此在类型为T的RDD上运行时,func的函数类型必须是Iterator[T] => Iterator[U]。假设有N个元素,有M个分区,那么map的函数的将被调用N次,而mapPartitions被调用M次,一个函数一次处理所有分区。
3)mapPartitionsWithIndex(func) 案例
作用:类似于mapPartitions,但func带有一个整数参数表示分片的索引值,因此在类型为T的RDD上运行时,func的函数类型必须是(Int, Interator[T]) => Iterator[U];
4) flatMap(func) 案例
作用:类似于map,但是每一个输入元素可以被映射为0或多个输出元素(所以func应该返回一个序列,而不是单一元素)
5)glom案例
作用:将每一个分区形成一个数组,形成新的RDD类型时RDD[Array[T]]
6)groupBy(func)案例
作用:分组,按照传入函数的返回值进行分组。将相同的key对应的值放入一个迭代器。
7)filter(func) 案例
作用:过滤。返回一个新的RDD,该RDD由经过func函数计算后返回值为true的输入元素组成。
8) sample(withReplacement, fraction, seed) 案例
作用:以指定的随机种子随机抽样出数量为fraction的数据,withReplacement表示是抽出的数据是否放回,true为有放回的抽样,false为无放回的抽样,seed用于指定随机数生成器种子。
9)distinct([numTasks])) 案例
作用:对源RDD进行去重后返回一个新的RDD。默认情况下,只有8个并行任务来操作,但是可以传入一个可选的numTasks参数改变它。
10)coalesce(numPartitions) 案例
作用:缩减分区数,用于大数据集过滤后,提高小数据集的执行效率
11) repartition(numPartitions) 案例
作用:根据分区数,重新通过网络随机洗牌所有数据。
12)sortBy(func,[ascending], [numTasks]) 案例
作用;使用func先对数据进行处理,按照处理后的数据比较结果排序,默认为正序。
13)pipe(command, [envVars]) 案例
作用:管道,针对每个分区,都执行一个shell脚本,返回输出的RDD。
双Value类型交互
1)union(otherDataset) 案例
作用:对源RDD和参数RDD求并集后返回一个新的RDD
2)subtract (otherDataset) 案例
作用:计算差的一种函数,去除两个RDD中相同的元素,不同的RDD将保留下来
3)intersection(otherDataset) 案例
作用:对源RDD和参数RDD求交集后返回一个新的RDD
4) cartesian(otherDataset) 案例
作用:笛卡尔积(尽量避免使用)
5)zip(otherDataset)案例
作用:将两个RDD组合成Key/Value形式的RDD,这里默认两个RDD的partition数量以及元素数量都相同,否则会抛出异常。
Key-Value类型
1)partitionBy案例
作用:对pairRDD进行分区操作,如果原有的partionRDD和现有的partionRDD是一致的话就不进行分区, 否则会生成ShuffleRDD,即会产生shuffle过程。
2)groupByKey案例
作用:groupByKey也是对每个key进行操作,但只生成一个sequence。
3)reduceByKey(func, [numTasks]) 案例
在一个(K,V)的RDD上调用,返回一个(K,V)的RDD,使用指定的reduce函数,将相同key的值聚合到一起,reduce任务的个数可以通过第二个可选的参数来设置。
4)aggregateByKey案例(大体思想是先做分区内计算,在做分区间计算)
作用:在kv对的RDD中,,按key将value进行分组合并,合并时,将每个value和初始值作为seq函数的参数,进行计算,返回的结果作为一个新的kv对,然后再将结果按照key进行合并,最后将每个分组的value传递给combine函数进行计算(先将前两个value进行计算,将返回结果和下一个value传给combine函数,以此类推),将key与计算结果作为一个新的kv对输出。
5) foldByKey案例
作用:aggregateByKey的简化操作,seqop和combop相同
6)combineByKey[C] 案例
作用:对相同K,把V合并成一个集合
先记录第一个V
注意:上面几个函数不好理解,需要时观看源代码各个参数含义。
7)sortByKey([ascending], [numTasks]) 案例
作用:在一个(K,V)的RDD上调用,K必须实现Ordered接口,返回一个按照key进行排序的(K,V)的RDD
8)mapValues案例
针对于(K,V)形式的类型只对V进行操作
9)join(otherDataset, [numTasks]) 案例
作用:在类型为(K,V)和(K,W)的RDD上调用,返回一个相同key对应的所有元素对在一起的(K,(V,W))的RDD
10)cogroup(otherDataset, [numTasks])
作用:在类型为(K,V)和(K,W)的RDD上调用,返回一个(K,(Iterable<V>,Iterable<W>))类型的RDD
5、Action
1)reduce(func)案例
作用:通过func函数聚集RDD中的所有元素,先聚合分区内数据,再聚合分区间数据。
2)collect()案例
作用:在驱动程序中,以数组的形式返回数据集的所有元素。
3) count()案例
作用:返回RDD中元素的个数
4)first()案例
作用:返回RDD中的第一个元素
5)take(n)案例
作用:返回一个由RDD的前n个元素组成的数组
6) takeOrdered(n)案例
作用:返回该RDD排序后的前n个元素组成的数组
7)aggregate案例
作用:aggregate函数将每个分区里面的元素通过seqOp和初始值进行聚合,然后用combine函数将每个分区的结果和初始值(zeroValue)进行combine操作。这个函数最终返回的类型不需要和RDD中元素类型一致。
8)fold(num)(func)案例
作用:折叠操作,aggregate的简化操作,seqop和combop一样。
9) saveAsTextFile(path)
将数据集的元素以textfile的形式保存到HDFS文件系统或者其他支持的文件系统,对于每个元素,Spark将会调用toString方法,将它装换为文件中的文本
10)saveAsSequenceFile(path)
作用:将数据集中的元素以Hadoop sequencefile的格式保存到指定的目录下,可以使HDFS或者其他Hadoop支持的文件系统。
11) saveAsObjectFile(path)
作用:用于将RDD中的元素序列化成对象,存储到文件中。
12)countByKey()案例
作用:针对(K,V)类型的RDD,返回一个(K,Int)的map,表示每一个key对应的元素个数。
13)foreach(func)案例
作用:在数据集的每一个元素上,运行函数func进行更新。
6、函数依赖
初始化工作是在Driver端进行的,而实际运行程序是在Executor端进行的,这就涉及到了跨进程通信,是需要序列化的。
7、RDD依赖关系
1 Lineage
RDD的Lineage会记录RDD的元数据信息和转换行为,当该RDD的部分分区数据丢失时,它可以根据这些信息来重新运算和恢复丢失的数据分区。
注意:RDD和它依赖的父RDD(s)的关系有两种不同的类型,即窄依赖(narrow dependency)和宽依赖(wide dependency)。
窄依赖
窄依赖指的是每一个父RDD的Partition最多被子RDD的一个Partition使用,窄依赖我们形象的比喻为独生子女
宽依赖
宽依赖指的是多个子RDD的Partition会依赖同一个父RDD的Partition,会引起shuffle,总结:宽依赖我们形象的比喻为超生
宽依赖是划分Stage的依据。(有Shuffle的存在)