Spark Dataset的实用操作笔记

最新推荐文章于 2024-05-23 20:03:15 发布
最新推荐文章于 2024-05-23 20:03:15 发布
阅读量271 收藏
点赞数
文章标签： spark 笔记 ajax
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_40623672/article/details/134855617
版权

最近的项目用spark做离线计算，所以有用到一些操作，简单笔记一下
1.Dataset纵向复制数据
当一个dataset中数据量太少，不能有效的随机联查别的dataset时，需要将数据纵向复制，把数据量撑起来。可以采用两种方式：
第一种：

userDataset.unionAll(userDataset).unionAll(userDataset)

这种方式在少量复制时可以用，若要大量复制，则会创建大量dataset对象，且代码写起来也费劲。
第二种：

int[] array = IntStream.range(0, 30).toArray();
userDataset= userDataset.withColumn("row_num", functions.explode(functions.lit(array))).drop(functions.col("row_num"));

这种方式由range(0, 30)这个来控制复制的次数，好使一点
示例：

// String env = "yarn";
String env = "local[*]";
SparkSession sparkSession = SparkSession.builder().appName(appName).master(env ).getOrCreate();
hdfsPath = "file:///C:\\\\\\\\recall.csv";
        Dataset<Row> dataset = createRealView(session, hdfsPath);
        dataset.show(200);
        String randStr = String.valueOf((int) ((Math.random() * 9 + 1) * Math.pow(10, 5)));
        dataset = dataset.withColumn("group_name", functions.lit(RecallTaskEnum.taskName(taskNum)));
        dataset = dataset.withColumn("group_id",  functions.lit(randStr));
        dataset = dataset.withColumn("creater",  functions.lit("sparkTask"));
        dataset = dataset.withColumn("updater",  functions.lit("sparkTask"));
        dataset = dataset.withColumn("del_flag",  functions.lit(1));
        dataset = dataset.withColumn("created_time",  functions.now());
        dataset = dataset.withColumn("update_time",  functions.now());
        dataset.show(200);
        int[] array = IntStream.range(0, 10).toArray();
        dataset = dataset.withColumn("dummy", functions.explode(functions.lit(array))).drop(functions.col("dummy"));
        dataset.show(200);

其中， recall.csv

client_id,score
7056,2
7057,12
7058,1200
212121,1100
212122,100
212123,100

那么三次的输出结果为：

+---------+-----+
|client_id|score|
+---------+-----+
|     7056|    2|
|     7057|   12|
|     7058| 1200|
|   212121| 1100|
|   212122|  100|
|   212123|  100|
+---------+-----+

+---------+-----+----------------+--------+---------+---------+--------+--------------------+--------------------+
|client_id|score|      group_name|group_id|  creater|  updater|del_flag|        created_time|         update_time|
+---------+-----+----------------+--------+---------+---------+--------+--------------------+--------------------+
|     7056|    2|同业存单人群圈选|  728804|sparkTask|sparkTask|       1|2023-12-07 15:02:...|2023-12-07 15:02:...|
|     7057|   12|同业存单人群圈选|  728804|sparkTask|sparkTask|       1|2023-12-07 15:02:...|2023-12-07 15:02:...|
|     7058| 1200|同业存单人群圈选|  728804|sparkTask|sparkTask|       1|2023-12-07 15:02:...|2023-12-07 15:02:...|
|   212121| 1100|同业存单人群圈选|  728804|sparkTask|sparkTask|       1|2023-12-07 15:02:...|2023-12-07 15:02:...|
|   212122|  100|同业存单人群圈选|  728804|sparkTask|sparkTask|       1|2023-12-07 15:02:...|2023-12-07 15:02:...|
|   212123|  100|同业存单人群圈选|  728804|sparkTask|sparkTask|       1|2023-12-07 15:02:...|2023-12-07 15:02:...|
+---------+-----+----------------+--------+---------+---------+--------+--------------------+--------------------+

+---------+-----+----------------+--------+---------+---------+--------+--------------------+--------------------+
|client_id|score|      group_name|group_id|  creater|  updater|del_flag|        created_time|         update_time|
+---------+-----+----------------+--------+---------+---------+--------+--------------------+--------------------+
|     7056|    2|同业存单人群圈选|  728804|sparkTask|sparkTask|       1|2023-12-07 15:02:...|2023-12-07 15:02:...|
|     7056|    2|同业存单人群圈选|  728804|sparkTask|sparkTask|       1|2023-12-07 15:02:...|2023-12-07 15:02:...|
|     7056|    2|同业存单人群圈选|  728804|sparkTask|sparkTask|       1|2023-12-07 15:02:...|2023-12-07 15:02:...|
|     7056|    2|同业存单人群圈选|  728804|sparkTask|sparkTask|       1|2023-12-07 15:02:...|2023-12-07 15:02:...|
|     7056|    2|同业存单人群圈选|  728804|sparkTask|sparkTask|       1|2023-12-07 15:02:...|2023-12-07 15:02:...|
|     7056|    2|同业存单人群圈选|  728804|sparkTask|sparkTask|       1|2023-12-07 15:02:...|2023-12-07 15:02:...|
|     7056|    2|同业存单人群圈选|  728804|sparkTask|sparkTask|       1|2023-12-07 15:02:...|2023-12-07 15:02:...|
|     7056|    2|同业存单人群圈选|  728804|sparkTask|sparkTask|       1|2023-12-07 15:02:...|2023-12-07 15:02:...|
|     7056|    2|同业存单人群圈选|  728804|sparkTask|sparkTask|       1|2023-12-07 15:02:...|2023-12-07 15:02:...|
|     7056|    2|同业存单人群圈选|  728804|sparkTask|sparkTask|       1|2023-12-07 15:02:...|2023-12-07 15:02:...|
|     7057|   12|同业存单人群圈选|  728804|sparkTask|sparkTask|       1|2023-12-07 15:02:...|2023-12-07 15:02:...|
|     7057|   12|同业存单人群圈选|  728804|sparkTask|sparkTask|       1|2023-12-07 15:02:...|2023-12-07 15:02:...|
|     7057|   12|同业存单人群圈选|  728804|sparkTask|sparkTask|       1|2023-12-07 15:02:...|2023-12-07 15:02:...|
|     7057|   12|同业存单人群圈选|  728804|sparkTask|sparkTask|       1|2023-12-07 15:02:...|2023-12-07 15:02:...|
|     7057|   12|同业存单人群圈选|  728804|sparkTask|sparkTask|       1|2023-12-07 15:02:...|2023-12-07 15:02:...|
|     7057|   12|同业存单人群圈选|  728804|sparkTask|sparkTask|       1|2023-12-07 15:02:...|2023-12-07 15:02:...|
|     7057|   12|同业存单人群圈选|  728804|sparkTask|sparkTask|       1|2023-12-07 15:02:...|2023-12-07 15:02:...|
|     7057|   12|同业存单人群圈选|  728804|sparkTask|sparkTask|       1|2023-12-07 15:02:...|2023-12-07 15:02:...|
|     7057|   12|同业存单人群圈选|  728804|sparkTask|sparkTask|       1|2023-12-07 15:02:...|2023-12-07 15:02:...|
|     7057|   12|同业存单人群圈选|  728804|sparkTask|sparkTask|       1|2023-12-07 15:02:...|2023-12-07 15:02:...|
|     7058| 1200|同业存单人群圈选|  728804|sparkTask|sparkTask|       1|2023-12-07 15:02:...|2023-12-07 15:02:...|
|     7058| 1200|同业存单人群圈选|  728804|sparkTask|sparkTask|       1|2023-12-07 15:02:...|2023-12-07 15:02:...|
|     7058| 1200|同业存单人群圈选|  728804|sparkTask|sparkTask|       1|2023-12-07 15:02:...|2023-12-07 15:02:...|
|     7058| 1200|同业存单人群圈选|  728804|sparkTask|sparkTask|       1|2023-12-07 15:02:...|2023-12-07 15:02:...|
|     7058| 1200|同业存单人群圈选|  728804|sparkTask|sparkTask|       1|2023-12-07 15:02:...|2023-12-07 15:02:...|
|     7058| 1200|同业存单人群圈选|  728804|sparkTask|sparkTask|       1|2023-12-07 15:02:...|2023-12-07 15:02:...|
|     7058| 1200|同业存单人群圈选|  728804|sparkTask|sparkTask|       1|2023-12-07 15:02:...|2023-12-07 15:02:...|
|     7058| 1200|同业存单人群圈选|  728804|sparkTask|sparkTask|       1|2023-12-07 15:02:...|2023-12-07 15:02:...|
|     7058| 1200|同业存单人群圈选|  728804|sparkTask|sparkTask|       1|2023-12-07 15:02:...|2023-12-07 15:02:...|
|     7058| 1200|同业存单人群圈选|  728804|sparkTask|sparkTask|       1|2023-12-07 15:02:...|2023-12-07 15:02:...|
|   212121| 1100|同业存单人群圈选|  728804|sparkTask|sparkTask|       1|2023-12-07 15:02:...|2023-12-07 15:02:...|
|   212121| 1100|同业存单人群圈选|  728804|sparkTask|sparkTask|       1|2023-12-07 15:02:...|2023-12-07 15:02:...|
|   212121| 1100|同业存单人群圈选|  728804|sparkTask|sparkTask|       1|2023-12-07 15:02:...|2023-12-07 15:02:...|
|   212121| 1100|同业存单人群圈选|  728804|sparkTask|sparkTask|       1|2023-12-07 15:02:...|2023-12-07 15:02:...|
|   212121| 1100|同业存单人群圈选|  728804|sparkTask|sparkTask|       1|2023-12-07 15:02:...|2023-12-07 15:02:...|
|   212121| 1100|同业存单人群圈选|  728804|sparkTask|sparkTask|       1|2023-12-07 15:02:...|2023-12-07 15:02:...|
|   212121| 1100|同业存单人群圈选|  728804|sparkTask|sparkTask|       1|2023-12-07 15:02:...|2023-12-07 15:02:...|
|   212121| 1100|同业存单人群圈选|  728804|sparkTask|sparkTask|       1|2023-12-07 15:02:...|2023-12-07 15:02:...|
|   212121| 1100|同业存单人群圈选|  728804|sparkTask|sparkTask|       1|2023-12-07 15:02:...|2023-12-07 15:02:...|
|   212121| 1100|同业存单人群圈选|  728804|sparkTask|sparkTask|       1|2023-12-07 15:02:...|2023-12-07 15:02:...|
|   212122|  100|同业存单人群圈选|  728804|sparkTask|sparkTask|       1|2023-12-07 15:02:...|2023-12-07 15:02:...|
|   212122|  100|同业存单人群圈选|  728804|sparkTask|sparkTask|       1|2023-12-07 15:02:...|2023-12-07 15:02:...|
|   212122|  100|同业存单人群圈选|  728804|sparkTask|sparkTask|       1|2023-12-07 15:02:...|2023-12-07 15:02:...|
|   212122|  100|同业存单人群圈选|  728804|sparkTask|sparkTask|       1|2023-12-07 15:02:...|2023-12-07 15:02:...|
|   212122|  100|同业存单人群圈选|  728804|sparkTask|sparkTask|       1|2023-12-07 15:02:...|2023-12-07 15:02:...|
|   212122|  100|同业存单人群圈选|  728804|sparkTask|sparkTask|       1|2023-12-07 15:02:...|2023-12-07 15:02:...|
|   212122|  100|同业存单人群圈选|  728804|sparkTask|sparkTask|       1|2023-12-07 15:02:...|2023-12-07 15:02:...|
|   212122|  100|同业存单人群圈选|  728804|sparkTask|sparkTask|       1|2023-12-07 15:02:...|2023-12-07 15:02:...|
|   212122|  100|同业存单人群圈选|  728804|sparkTask|sparkTask|       1|2023-12-07 15:02:...|2023-12-07 15:02:...|
|   212122|  100|同业存单人群圈选|  728804|sparkTask|sparkTask|       1|2023-12-07 15:02:...|2023-12-07 15:02:...|
|   212123|  100|同业存单人群圈选|  728804|sparkTask|sparkTask|       1|2023-12-07 15:02:...|2023-12-07 15:02:...|
|   212123|  100|同业存单人群圈选|  728804|sparkTask|sparkTask|       1|2023-12-07 15:02:...|2023-12-07 15:02:...|
|   212123|  100|同业存单人群圈选|  728804|sparkTask|sparkTask|       1|2023-12-07 15:02:...|2023-12-07 15:02:...|
|   212123|  100|同业存单人群圈选|  728804|sparkTask|sparkTask|       1|2023-12-07 15:02:...|2023-12-07 15:02:...|
|   212123|  100|同业存单人群圈选|  728804|sparkTask|sparkTask|       1|2023-12-07 15:02:...|2023-12-07 15:02:...|
|   212123|  100|同业存单人群圈选|  728804|sparkTask|sparkTask|       1|2023-12-07 15:02:...|2023-12-07 15:02:...|
|   212123|  100|同业存单人群圈选|  728804|sparkTask|sparkTask|       1|2023-12-07 15:02:...|2023-12-07 15:02:...|
|   212123|  100|同业存单人群圈选|  728804|sparkTask|sparkTask|       1|2023-12-07 15:02:...|2023-12-07 15:02:...|
|   212123|  100|同业存单人群圈选|  728804|sparkTask|sparkTask|       1|2023-12-07 15:02:...|2023-12-07 15:02:...|
|   212123|  100|同业存单人群圈选|  728804|sparkTask|sparkTask|       1|2023-12-07 15:02:...|2023-12-07 15:02:...|
+---------+-----+----------------+--------+---------+---------+--------+--------------------+--------------------+

2.创建指定结构的空Dataset
在项目开发中，如果需要读取csv文件或者读取MySQL创建Dataset时，有可能出现异常，为避免服务雪崩，那么可以使用创建指定相同结构的空Dataset去参与计算。
例如：

public static Dataset<Row> getDataByPartition(SparkSession session, String table, String partColumn, String selectColumns, String condition) {
        Map<String, String> dbOptions = new HashMap<>();
        dbOptions.put("driver", envMap.get("DRIVER"));
        dbOptions.put("url", envMap.get("URL"));
        dbOptions.put("user", envMap.get("USER"));
        dbOptions.put("password", envMap.get("PASSWORD"));

        //查询需要的数据
        String dataSelect = String.format("select %s from %s ", selectColumns, table);
        dataSelect += condition;
        Map<String, String> options = new HashMap<>();
        options.put("query", dataSelect);
        options.put("numPartitions", String.valueOf(EnvConstant.PARTITION_NUM));
        options.putAll(dbOptions);
eturn session.read().format("jdbc").options(options).load();

这样分区读数据库来创建视图，有可能会产生异常，程序可能会崩溃，加入一下处理

// 逗号分隔格式：selectColumns = "client_id, score, group_name, group_id, creater, updater|del_flag, created_time, update_time";
    public static Dataset<Row> generateEmptyDataset(SparkSession session, String selectColumns) {
        StructType schema = new StructType();
        if (StringUtils.isEmpty(selectColumns)) {
            schema = schema.add(new StructField("emptyDataset", DataTypes.StringType, false, Metadata.empty()));
            return session.createDataset(Collections.emptyList(), Encoders.row(schema));
        }
        String[] split = selectColumns.split(",");
        for (String str : split) {
            String res = str.trim();
            schema = schema.add(new StructField(res, DataTypes.StringType, false, Metadata.empty()));
        }
        return session.createDataset(Collections.emptyList(), Encoders.row(schema));
    }

根据传入的结构，动态创建schema，从而动态生成Dataset
修改后：

public static Dataset<Row> getDataByPartition(SparkSession session, String table, String partColumn, String selectColumns, String condition) {
        Map<String, String> dbOptions = new HashMap<>();
        dbOptions.put("driver", envMap.get("DRIVER"));
        dbOptions.put("url", envMap.get("URL"));
        dbOptions.put("user", envMap.get("USER"));
        dbOptions.put("password", envMap.get("PASSWORD"));

        //查询需要的数据
        String dataSelect = String.format("select %s from %s ", selectColumns, table);
        dataSelect += condition;
        Map<String, String> options = new HashMap<>();
        options.put("query", dataSelect);
        options.put("numPartitions", String.valueOf(EnvConstant.PARTITION_NUM));
        options.putAll(dbOptions);
        try {
            int i = 1/0;
            return session.read().format("jdbc").options(options).load();
        } catch (Exception e) {
            System.out.println("分区查询数据异常：" + e.getMessage());
            Dataset<Row> emptyDataset = generateEmptyDataset(session, selectColumns);
            emptyDataset.show();
            return emptyDataset;
        }
    }

当我设置int i = 1/0产生异常后，创建空dataset

+---------+-----+----------------+--------+---------+---------+--------+--------------------+--------------------+
|client_id|score|      group_name|group_id|  creater|  updater|del_flag|        created_time|         update_time|
+---------+-----+----------------+--------+---------+---------+--------+--------------------+--------------------+
|         |     |                |        |         |         |        |                    |                    |
+---------+-----+----------------+--------+---------+---------+--------+--------------------+--------------------+
容若只如初见
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
Spark dataset introduction
07-01
关于spark2之后dataset的介绍，以及简单应用，上课用的简短的PPT
SPARK 对DataSet操作
大怀特的博客
10-11 553
val df = Seq((2L, "a", "foo", 3.0)).toDF df.printSchema // root // |-- _1: long (nullable = false) // |-- _2: string (nullable = true) // |-- _3: string (nullable = true) // |-- _4: double (nullable = false) 最简单的办法toDF方法 val schemas= Seq("id", "x1.
Spark SQL/DataFrame/DataSet操作（一）-----读数据
UncleTian的博客
02-02 474
一、读取数据源 （1）读取json ，使用spark.read。注意：路径默认是从HDFS，如果要读取本机文件，需要加前缀file://，如下 scala> val people = spark.read.format("json").load("file:///opt/software/data/people.json") people: org.apache.spark.sql.Data...
SparkSQL
wz_TXWY的博客
09-27 630
SparkSQL SparkSQL Table of Contents 1. SparkSQL 是什么 1.1. SparkSQL 的出现契机 1.2. SparkSQL 的适用场景 2. SparkSQL 初体验 2.3. RDD 版本的 WordCount 2.2. 命令式 API 的入门案例 2.2. SQL 版本 WordCount 3. [扩展] C...
Spark Dataset 入门详解
鸭梨的博客
11-24 1101
定义 class Dataset[T](sparkSession: SparkSession, queryExecution: QueryExecution, encoder: Encoder[T]) extends Serializable 数据集是特定于域的对象的强类型集合，可以使用函数或关系操作并行转换这些对象。每个数据集还有一个称为DataFrame的非类型化视图，它是Row的数据集。 数据集上可用的操作分为转换和操作。转换是生成新数据集的转换，而操作是触发计算并返回结果的操作。示例转换包括map
Spark dataset and dataframe 深入分析
12-11
SPARK 最新版本支持的dataset and dataframe的深入分析和设计
Spark的灵魂：RDD和DataSet
06-29
本课重点讲解Spark 的灵魂RDD 和DataSet。讲解RDD 的定义、五大特性剖析及DataSet的定义和内部机制剖析；对RDD 弹性特性七个方面进行解析；讲解RDD 依赖关系，包括窄依赖、宽依赖； 解析Spark 中DAG 逻辑视图；对RDD...
dataset 多表操作
11-21
dataset 多表操作 dataset 多表操作 dataset 多表操作 dataset 多表操作
spark rdd api dataframe 以及dataframe rdd dataset 相互转换 spark sql
02-14
包括spara rdd api，dataframe action操作、查询操作、join操作，dataframe rdd dataset 相互转换以及spark sql。
【hive和spark】hive on spark和spark读取hive metastore配置
lisacumt的专栏
05-20 701
hive on spark和spark读取hive metastore配置
Spark-RDD-持久化详解
喻师傅的学习笔记
05-23 999
Spark-RDD-持久化详解
spark是什么引擎
琳琳的博客
05-23 183
因此，Spark能用于覆盖范围广泛的工作负载，有效的用于交互式查询、流处理等更多类型的计算。同时，Spark具有快速、易用、通用、随处运行、代码简洁等特点，支持使用Scala、Java、Python和R语言进行编程，可以通过Spark Shell进行交互式编程。此外，Spark是一个一站式的计算框架，包含了Spark RDD（用于离线批处理）、Spark SQL（交互式查询）、Spark Streaming（实时流计算）、MLlib（机器学习）、GraphX（图计算）等重要处理组件。
阿里云 EMR Serverless Spark 版开启免费公测
科技很有意思
05-23 925
阿里云 EMR Serverless Spark 版是一款云原生，专为大规模数据处理和分析而设计的全托管 Serverless 产品。它为企业提供了一站式的数据平台服务，包括任务开发、调试、调度和运维等，极大地简化了数据处理的全生命周期工作流程。使用 EMR Serverless Spark 版，企业可以更专注于数据分析和价值提炼，提高工作效率。阿里云 EMR Serverless Spark 版现已开启公测，欢迎广大开发者及企业用户参与，解锁全托管、一站式数据开发体验。
Git笔记
985小菜鸡
05-21 289
完成以上步骤后，您的本地项目应该已经成功上传到 GitHub 仓库中了。您可以在 GitHub 网站上查看并访问您的项目。，如果您使用的是其他分支，请将其替换为您的分支名称。这里假设您的本地分支是。
【加密与解密（第四版）】第四章笔记
m0_58213960的博客
05-21 689
x64系统通用寄存器的名称，第1个字母从“E”改为“R”(例如“RAX”)，大小扩展到 64 位，数量增加了8个(R8~R15)，扩充了8个128位XMM寄存器(在64位程序中，XMM寄存器经常被用来优化代码)。64位寄存器与x86下的32位寄存器兼容，例如RAX(64位)EAX(低32)、AX(低16位)、AL(低8位)和AH(8~15位)。x64新扩展的寄存器高低位访问，使用WORD、BYTE、DWORD后级，例如R8(64位)R8D(低32位)、R8W(低16位)和R8B(低8位)。
Vue学习笔记3——事件处理
qq_44778824的博客
05-22 364
尽管我们可以直接在方法内调用，但如果方法能更专注于数据逻辑而不用去处理DOM事件的细节会更好。)来监听DOM事件，并在事件触发时执行对应的JavaScript。// 读取data里面数据的方法：this.count。// 所有方法或者函数都放在这里,跟data同级。为解决这一问题，Vue 为。对象和通过事件传递数据。
FreeRTOS_互斥量_学习笔记
最新发布
uncle_tou的博客
05-23 895
数值只有0或1谁获得互斥量，就必须由谁释放同一个互斥量。但其实在freeRTOS中，任务A获取的互斥锁，任务B也能释放。因此谁上锁谁开锁只是约定，在程序实现上不是强制的。"是指：多个任务同时调用它、任务和中断同时调用它，函数的运行也是安全的。可重入的函数也被称为"线程安全”(thread safe)。每个任务都维持自己的栈、自己的CPU寄存器，如果一个函数，那么它就是的。
[BT]小迪安全2023学习笔记（第27天：Web攻防-SQL数据类型注入）
Bluetuan的博客
05-23 189
在SQL中，数字可以不需要单引号，但是字符串需要单引号闭合（不然识别不了）
spark dataset options
03-16
Spark数据集选项是指在使用Spark进行数据处理时，可以使用的一些选项和参数。这些选项可以用于控制数据集的读取、写入、分区、缓存等方面，以优化Spark作业的性能和效率。常见的Spark数据集选项包括文件格式、分区数...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

容若只如初见

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值