map | 返回一个新的RDD,该RDD由每一个输入元素经过func函数转换后组成.就是讲传进去的Rdd的每个元素转换成新的元素 |
mapPartitions(func) | 类似于map,但独立地在RDD的每一个分片上运行,因此在类型为T的RDD上运行时,func的函数类型必须是Iterator[T] => Iterator[U]。假设有N个元素,有M个分区,那么map的函数的将被调用N次,而mapPartitions被调用M次,一个函数一次处理所有分区 |
flatMap | flatMapRdd算子就是把里面的元素,经过一个方法,把原来的元素由一个变成多个 |
filter | 过滤。返回一个新的RDD,该RDD由经过func函数计算后返回值为true的输入元素组成 |
distinct([numTasks])) | 对源RDD进行去重后返回一个新的RDD。默认情况下,只有8个并行任务来操作,但是可以传入一个可选的numTasks参数改变它 |
coalesce(numPartitions) | 缩减分区数,用于大数据集过滤后,提高小数据集的执行效率 |
repartition(numPartitions) | 根据分区数,重新通过网络随机洗牌所有数据 |
sortBy(func,[ascending],[numTasks]) | 使用func先对数据进行处理,按照处理后的数据比较结果排序,默认为正序 |
union(otherDataset) | 对源RDD和参数RDD求并集后返回一个新的RDD |
subtract (otherDataset) | 计算差的一种函数,去除两个RDD中相同的元素,不同的RDD将保留下来 |
intersection(otherDataset) | 对源RDD和参数RDD求交集后返回一个新的RDD |
cartesian(otherDataset) | 笛卡尔积(尽量避免使用,没啥用,给自己找事) |
partitionBy | 对pairRDD进行分区操作,如果原有的partionRDD和现有的partionRDD是一致的话就不进行分区, 否则会生成ShuffleRDD,即会产生shuffle过程。 |
groupByKey | groupByKey也是对每个key进行操作,但只生成一个sequence |
reduceByKey(func, [numTasks]) | 在一个(K,V)的RDD上调用,返回一个(K,V)的RDD,使用指定的reduce函数,将相同key的值聚合到一起,reduce任务的个数可以通过第二个可选的参数来设置。就是对key相同的value进行处理 |
aggregateByKey(1)zeroValue:给每一个分区中的每一个key一个初始值;(2)seqOp:函数用于在每一个分区中用初始值逐步迭代value;(3)combOp:函数用于合并每个分区中的结果。 | 在kv对的RDD中,,按key将value进行分组合并,合并时,将每个value和初始值作为seq函数的参数,进行计算,返回的结果作为一个新的kv对,然后再将结果按照key进行合并,最后将每个分组的value传递给combine函数进行计算(先将前两个value进行计算,将返回结果和下一个value传给combine函数,以此类推),将key与计算结果作为一个新的kv对输出 |
sortByKey([ascending], [numTasks]) | 在一个(K,V)的RDD上调用,K必须实现Ordered接口,返回一个按照key进行排序的(K,V)的RDD |
join(otherDataset, [numTasks]) | 在类型为(K,V)和(K,W)的RDD上调用,返回一个相同key对应的所有元素对在一起的(K,(V,W))的RDD就是说两个Rdd的键一样,但值不相同,讲键相同的value整合成数据集 |
cogroup(otherDataset, [numTasks]) | 在类型为(K,V)和(K,W)的RDD上调用,返回一个(K,(Iterable,Iterable))类型的RDD就是说cogroup:是把两个rdd合并一下;但是两个rdd,得是tuple2;当调用类型为(K,V)和(K,W)的数据集时,返回(K,(Iterable,Iterable)元组的数据集 |