- map(func)
返回一个新的RDD,该RDD由每一个输入元素经过func函数转换后组成
![在这里插入图片描述](https://i-blog.csdnimg.cn/blog_migrate/c85ca38fe9ce483096749bf03965bcbe.png)
- mapPartitions(func)
类似于map,但独立地在RDD的每一个分片(分区)上运行,因此在类型为T的RDD上运行时,func的函数类型必须是Iterator[T] => Iterator[U]。
假设有N个元素,有M个分区,那么map的函数的将被调用N次,而mapPartitions被调用M次,一个函数一次处理所有分区。
![在这里插入图片描述](https://i-blog.csdnimg.cn/blog_migrate/142ecaa1787438ed3e48307e44c146c4.png)
- mapPartitionsWithIndex(func)
类似于mapPartitions,但func带有一个整数参数表示分片的索引值,因此在类型为T的RDD上运行时,func的函数类型必须是(Int, Interator[T]) => Iterator[U]
![在这里插入图片描述](https://i-blog.csdnimg.cn/blog_migrate/b6f838f80f5bc1831d3ae5ab65595254.png)
- flatMap(func)
类似于map,但是每一个输入元素可以被映射为0或多个输出元素(所以func应该返回一个序列,而不是单一元素) - map()和mapPartition()
map():每次处理一条数据。
mapPartition():每次处理一个分区的数据,这个分区的数据处理完后,原RDD中分区的数据才能释放,可能导致OOM。
当内存空间较大的时候建议使用mapPartition(),以提高处理效率 - glom
将每一个分区形成一个数组,形成新的RDD类型时RDD[Array[T]]
![在这里插入图片描述](https://i-blog.csdnimg.cn/blog_migrate/ba06113dcf765fd983a75a1eeaf314dc.png)
- groupBy(func)
分组,按照传入函数的返回值进行分组。将相同的key对应的值放入一个迭代器
![在这里插入图片描述](https://i-blog.csdnimg.cn/blog_migrate/534fb7ec932d1743c848e40f3c34ab03.png)
- filter(func)
过滤。返回一个新的RDD,该RDD由经过func函数计算后返回值为true的输入元素组成。 - sample(withReplacement, fraction, seed)
以指定的随机种子(seed)随机抽样出数量为fraction的数据,withReplacement表示是抽出的数据是否放回,true为有放回的抽样,false为无放回的抽样,seed用于指定随机数生成器种子。
![在这里插入图片描述](https://i-blog.csdnimg.cn/blog_migrate/2e52f99a7a436b0441ede2c5030a0478.png)
- distinct([numTasks]))
对源RDD进行去重后返回一个新的RDD。默认情况下,只有8个并行任务来操作,但是可以传入一个可选的numTasks参数改变它 - coalesce(numPartitions)
缩减分区数,用于大数据集过滤后,提高小数据集的执行效率。
![在这里插入图片描述](https://i-blog.csdnimg.cn/blog_migrate/92e5384904c48b5983ce9ff0258f00ba.png)
- repartition(numPartitions)
根据分区数,重新通过网络随机洗牌所有数据。 - coalesce和repartition的区别
- coalesce重新分区,可以选择是否进行shuffle过程。由参数shuffle: Boolean = false/true决定。
- repartition实际上是调用的coalesce,默认是进行shuffle的。
def repartition(numPartitions: Int)(implicit ord: Ordering[T] = null): RDD[T] = withScope {
coalesce(numPartitions, shuffle = true)
}
- sortBy(func,[ascending], [numTasks])
使用func先对数据进行处理,按照处理后的数据比较结果排序,默认为正序 - pipe(command, [envVars])
管道,针对每个分区,都执行一个shell脚本,返回输出的RDD。