行动算子与转换算子的区别
- 行动算子会提交job,触发作业的执行,转换算子是懒加载的,只有调用行动算子后才会真正执行。
reduce
函数签名
![在这里插入图片描述](https://i-blog.csdnimg.cn/blog_migrate/23d86fce91c20dce46a579ddc04c39e3.png)
说明
- reduce算子会将RDD中的数据做聚合操作,先聚合分区内元素,再聚合分区间元素。
代码示例
val rdd: RDD[Int] = sc.makeRDD(List(1, 2, 3, 4))
val res: Int = rdd.reduce(_+_)
collect
函数签名
![在这里插入图片描述](https://i-blog.csdnimg.cn/blog_migrate/d78af9ef5c1c0fbbcf02a08e38b2c21a.png)
说明
- collect算子可以将RDD中的元素以数组的形式收集到Driver端。
代码示例
val rdd: RDD[Int] = sc.makeRDD(List(1, 2, 3, 4))
val ints: Array[Int] = rdd.collect()
println(ints.mkString(","))
count
函数签名
![在这里插入图片描述](https://i-blog.csdnimg.cn/blog_migrate/9b1b50c6f659a01eed85d9637e3a2414.png)
说明
代码示例
val rdd: RDD[Int] = sc.makeRDD(List(1, 2, 3, 4))
println(rdd.count())
first
函数签名
![在这里插入图片描述](https://i-blog.csdnimg.cn/blog_migrate/183f0b6d8715347e89da47bdd3a56d9b.png)
说明
代码示例
println(rdd.first())
take
函数签名
![在这里插入图片描述](https://i-blog.csdnimg.cn/blog_migrate/86d8efba4c9106b27e5cf9bd0865c0f2.png)
说明
代码实现
println(rdd.take(3).mkString(","))
takeOrdered
函数签名
![在这里插入图片描述](https://i-blog.csdnimg.cn/blog_migrate/56ad75e81391ab0c33e21474283839bc.png)
说明
- 将RDD中的元素排序后取前N个元素组成数组。
- 先排序,再取值。
代码示例
val rdd2: RDD[Int] = sc.makeRDD(List(3, 5, 1, 2, 9, 6))
println(rdd2.takeOrdered(3).mkString(","))
aggregate
函数签名
![在这里插入图片描述](https://i-blog.csdnimg.cn/blog_migrate/f8c3c9af6576c6cfaebd13537ab04ef0.png)
说明
- aggregate先通过分区内逻辑,聚合初始值和分区内每个元素,再通过分区间逻辑聚合分区间元素和初始值。
- 分区内和分区间,初始值运算方式不同。分区内是每个元素都和初始值做聚合,分区间是整个分区内元素只和初始值聚合一次。
![在这里插入图片描述](https://i-blog.csdnimg.cn/blog_migrate/b6e2d4f59d0ab2ee589f64db1937a74d.png)
代码示例
val rdd3: RDD[Int] = sc.makeRDD(List(1, 2, 3, 4), 8)
val resRDD: Int = rdd3.aggregate(10)(_ + _, _ + _)
println(resRDD)
fold
函数签名
![在这里插入图片描述](https://i-blog.csdnimg.cn/blog_migrate/acbe82d80bc33a8374d7cfb0dd94418b.png)
说明
- fold是分区内和分区间计算逻辑相同的aggregate。
代码示例
val rdd3: RDD[Int] = sc.makeRDD(List(1, 2, 3, 4), 8)
println(rdd3.fold(10)(_ + _))
countByKey
函数签名
![在这里插入图片描述](https://i-blog.csdnimg.cn/blog_migrate/c044365d37b3a0ecef47660c72205faa.png)
说明
代码示例
val rdd4: RDD[(Int, String)] = sc.makeRDD(List((1, "a"), (2, "b"), (1, "c"), (2, "a"), (2, "d"), (3, "e")))
println(rdd4.countByKey())
save相关算子
val rdd4: RDD[(Int, String)] = sc.makeRDD(List((1, "a"), (2, "b"), (1, "c"), (2, "a"), (2, "d"), (3, "e")))
rdd4.saveAsTextFile("")
rdd4.saveAsObjectFile("")
rdd4.saveAsSequenceFile("")
foreach
函数签名
![在这里插入图片描述](https://i-blog.csdnimg.cn/blog_migrate/d191d159ff962e83b66c025f3321b5be.png)
代码实现
rdd.foreach(println)