Spark中的各种action算子操作（java版）

最新推荐文章于 2023-05-09 09:58:53 发布

kongshuchen

最新推荐文章于 2023-05-09 09:58:53 发布

阅读量6.3k

点赞数 2

分类专栏： spark 文章标签： spark java

本文链接：https://blog.csdn.net/kongshuchen/article/details/51344124

版权

本文介绍了Spark编程中action算子的重要角色，强调了它们作为transformation算子执行触发器的功能。文章通过一个Java示例展示了如何使用常见的action算子，如reduce, collect, count, take以及countByKey，并提供了相应的代码实现。" 114605843,10534921,SparkSession在Spark2.0中的使用详解,"['Spark开发', '大数据处理', 'Hive', 'Java', '数据框架']

摘要由CSDN通过智能技术生成

在我看来，Spark编程中的action算子的作用就像一个触发器，用来触发之前的transformation算子。transformation操作具有懒加载的特性，你定义完操作之后并不会立即加载，只有当某个action的算子执行之后，前面所有的transformation算子才会全部执行。常用的action算子如下代码所列：（java版）
package cn.spark.study.core;

import java.util.Arrays;
import java.util.List;
import java.util.Map;

import org.apache.spark.SparkConf;
import org.apache.spark.api.java.JavaPairRDD;
import org.apache.spark.api.java.JavaRDD;
import org.apache.spark.api.java.JavaSparkContext;
import org.apache.spark.api.java.function.Function;
import org.apache.spark.api.java.function.Function2;

import scala.Tuple2;

/**
* action操作实战
* @author dd
*
*/
public class ActionOperation {
public static void main(String[] args) {
//reduceTest();
//collectTest();
//countTest();
//takeTest();
countByKeyTest();
}