Spark Dataset的实用操作笔记

于 2023-12-07 15:42:27 发布
阅读量331 收藏
点赞数
文章标签： spark 笔记 ajax
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_40623672/article/details/134855617
版权

最近的项目用spark做离线计算，所以有用到一些操作，简单笔记一下
1.Dataset纵向复制数据
当一个dataset中数据量太少，不能有效的随机联查别的dataset时，需要将数据纵向复制，把数据量撑起来。可以采用两种方式：
第一种：

userDataset.unionAll(userDataset).unionAll(userDataset)

这种方式在少量复制时可以用，若要大量复制，则会创建大量dataset对象，且代码写起来也费劲。
第二种：

int[] array = IntStream.range(0, 30).toArray();
userDataset= userDataset.withColumn("row_num", functions.explode(functions.lit(array))).drop(functions.col("row_num"));

这种方式由range(0, 30)这个来控制复制的次数，好使一点
示例：

// String env = "yarn";
String env = "local[*]";
SparkSession sparkSession = SparkSession.builder().appName(appName).master(env ).getOrCreate();
hdfsPath = "file:///C:\\\\\\\\recall.csv";
        Dataset<Row> dataset = createRealView(session, hdfsPath);
        dataset.show(200);
        String randStr = String.valueOf((int) ((Math.random() * 9 + 1) * Math.pow(10, 5)));
        dataset = dataset.withColumn("group_name", functions.lit(RecallTaskEnum.taskName(taskNum)));
        dataset = dataset.withColumn("group_id",  functions.lit(randStr));
        dataset = dataset.withColumn("creater",  functions.lit("sparkTask"));
        dataset = dataset.withColumn("updater",  functions.lit("sparkTask"));
        dataset = dataset.withColumn("del_flag",  functions.lit(1));
        dataset = dataset.withColumn("created_time",  functions.now());
        dataset = dataset.withColumn("update_time",  functions.now());
        dataset.show(200);
        int[] array = IntStream.range(0, 10).toArray();
        dataset = dataset.withColumn("dummy", functions.explode(functions.lit(array))).drop(functions.col("dummy"));
        dataset.show(200);

其中， recall.csv

client_id,score
7056,2
7057,12
7058,1200
212121,1100
212122,100
212123,100

那么三次的输出结果为：

+---------+-----+
|client_id|score|
+---------+-----+
|     7056|    2|
|     7057|   12|
|     7058| 1200|
|   212121| 1100|
|   212122|  100|
|   212123|  100|
+---------+-----+

+---------+-----+----------------+--------+---------+---------+--------+--------------------+--------------------+
|client_id|score|      group_name|group_id|  creater|  updater|del_flag|        created_time|         update_time|
+---------+-----+----------------+--------+---------+---------+--------+--------------------+--------------------+
|     7056|    2|同业存单人群圈选|  728804|sparkTask|sparkTask|       1|2023-12-07 15:02:...|2023-12-07 15:02:...|
|     7057|   12|同业存单人群圈选|  728804|sparkTask|sparkTask|       1|2023-12-07 15:02:...|2023-12-07 15:02:...|
|     7058| 1200|同业存单人群圈选|  728804|sparkTask|sparkTask|       1|2023-12-07 15:02:...|2023-12-07 15:02:...|
|   212121| 1100|同业存单人群圈选|  728804|sparkTask|sparkTask|       1|2023-12-07 15:02:...|2023-12-07 15:02:...|
|   212122|  100|同业存单人群圈选|  728804|sparkTask|sparkTask|       1|2023-12-07 15:02:...|2023-12-07 15:02:...|
|   212123|  100|同业存单人群圈选|  728804|sparkTask|sparkTask|       1|2023-12-07 15:02:...|2023-12-07 15:02:...|
+---------+-----+----------------+--------+---------+---------+--------+--------------------+--------------------+

+---------+-----+----------------+--------+---------+---------+--------+--------------------+--------------------+
|client_id|score|      group_name|group_id|  creater|  updater|del_flag|        created_time|         update_time|
+---------+-----+----------------+--------+---------+---------+--------+--------------------+--------------------+
|     7056|    2|同业存单人群圈选|  728804|sparkTask|sparkTask|       1|2023-12-07 15:02:...|2023-12-07 15:02:...|
|     7056|    2|同业存单人群圈选|  728804|sparkTask|sparkTask|       1|2023-12-07 15:02:...|2023-12-07 15:02:...|
|     7056|    2|同业存单人群圈选|  728804|sparkTask|sparkTask|       1|2023-12-07 15:02:...|2023-12-07 15:02:...|
|     7056|    2|同业存单人群圈选|  728804|sparkTask|sparkTask|       1|2023-12-07 15:02:...|2023-12-07 15:02:...|
|     7056|    2|同业存单人群圈选|  728804|sparkTask|sparkTask|       1|2023-12-07 15:02:...|2023-12-07 15:02:...|
|     7056|    2|同业存单人群圈选|  728804|sparkTask|sparkTask|       1|2023-12-07 15:02:...|2023-12-07 15:02:...|
|     7056|    2|同业存单人群圈选|  728804|sparkTask|sparkTask|       1|2023-12-07 15:02:...|2023-12-07 15:02:...|
|     7056|    2|同业存单人群圈选|  728804|sparkTask|sparkTask|       1|2023-12-07 15:02:...|2023-12-07 15:02:...|
|     7056|    2|同业存单人群圈选|  728804|sparkTask|sparkTask|       1|2023-12-07 15:02:...|2023-12-07 15:02:...|
|     7056|    2|同业存单人群圈选|  728804|sparkTask|sparkTask|       1|2023-12-07 15:02:...|2023-12-07 15:02:...|
|     7057|   12|同业存单人群圈选|  728804|sparkTask|sparkTask|       1|2023-12-07 15:02:...|2023-12-07 15:02:...|
|     7057|   12|同业存单人群圈选|  728804|sparkTask|sparkTask|       1|2023-12-07 15:02:...|2023-12-07 15:02:...|
|     7057|   12|同业存单人群圈选|  728804|sparkTask|sparkTask|       1|2023-12-07 15:02:...|2023-12-07 15:02:...|
|     7057|   12|同业存单人群圈选|  728804|sparkTask|sparkTask|       1|2023-12-07 15:02:...|2023-12-07 15:02:...|
|     7057|   12|同业存单人群圈选|  728804|sparkTask|sparkTask|       1|2023-12-07 15:02:...|2023-12-07 15:02:...|
|     7057|   12|同业存单人群圈选|  728804|sparkTask|sparkTask|       1|2023-12-07 15:02:...|2023-12-07 15:02:...|
|     7057|   12|同业存单人群圈选|  728804|sparkTask|sparkTask|       1|2023-12-07 15:02:...|2023-12-07 15:02:...|
|     7057|   12|同业存单人群圈选|  728804|sparkTask|sparkTask|       1|2023-12-07 15:02:...|2023-12-07 15:02:...|
|     7057|   12|同业存单人群圈选|  728804|sparkTask|sparkTask|       1|2023-12-07 15:02:...|2023-12-07 15:02:...|
|     7057|   12|同业存单人群圈选|  728804|sparkTask|sparkTask|       1|2023-12-07 15:02:...|2023-12-07 15:02:...|
|     7058| 1200|同业存单人群圈选|  728804|sparkTask|sparkTask|       1|2023-12-07 15:02:...|2023-12-07 15:02:...|
|     7058| 1200|同业存单人群圈选|  728804|sparkTask|sparkTask|       1|2023-12-07 15:02:...|2023-12-07 15:02:...|
|     7058| 1200|同业存单人群圈选|  728804|sparkTask|sparkTask|       1|2023-12-07 15:02:...|2023-12-07 15:02:...|
|     7058| 1200|同业存单人群圈选|  728804|sparkTask|sparkTask|       1|2023-12-07 15:02:...|2023-12-07 15:02:...|
|     7058| 1200|同业存单人群圈选|  728804|sparkTask|sparkTask|       1|2023-12-07 15:02:...|2023-12-07 15:02:...|
|     7058| 1200|同业存单人群圈选|  728804|sparkTask|sparkTask|       1|2023-12-07 15:02:...|2023-12-07 15:02:...|
|     7058| 1200|同业存单人群圈选|  728804|sparkTask|sparkTask|       1|2023-12-07 15:02:...|2023-12-07 15:02:...|
|     7058| 1200|同业存单人群圈选|  728804|sparkTask|sparkTask|       1|2023-12-07 15:02:...|2023-12-07 15:02:...|
|     7058| 1200|同业存单人群圈选|  728804|sparkTask|sparkTask|       1|2023-12-07 15:02:...|2023-12-07 15:02:...|
|     7058| 1200|同业存单人群圈选|  728804|sparkTask|sparkTask|       1|2023-12-07 15:02:...|2023-12-07 15:02:...|
|   212121| 1100|同业存单人群圈选|  728804|sparkTask|sparkTask|       1|2023-12-07 15:02:...|2023-12-07 15:02:...|
|   212121| 1100|同业存单人群圈选|  728804|sparkTask|sparkTask|       1|2023-12-07 15:02:...|2023-12-07 15:02:...|
|   212121| 1100|同业存单人群圈选|  728804|sparkTask|sparkTask|       1|2023-12-07 15:02:...|2023-12-07 15:02:...|
|   212121| 1100|同业存单人群圈选|  728804|sparkTask|sparkTask|       1|2023-12-07 15:02:...|2023-12-07 15:02:...|
|   212121| 1100|同业存单人群圈选|  728804|sparkTask|sparkTask|       1|2023-12-07 15:02:...|2023-12-07 15:02:...|
|   212121| 1100|同业存单人群圈选|  728804|sparkTask|sparkTask|       1|2023-12-07 15:02:...|2023-12-07 15:02:...|
|   212121| 1100|同业存单人群圈选|  728804|sparkTask|sparkTask|       1|2023-12-07 15:02:...|2023-12-07 15:02:...|
|   212121| 1100|同业存单人群圈选|  728804|sparkTask|sparkTask|       1|2023-12-07 15:02:...|2023-12-07 15:02:...|
|   212121| 1100|同业存单人群圈选|  728804|sparkTask|sparkTask|       1|2023-12-07 15:02:...|2023-12-07 15:02:...|
|   212121| 1100|同业存单人群圈选|  728804|sparkTask|sparkTask|       1|2023-12-07 15:02:...|2023-12-07 15:02:...|
|   212122|  100|同业存单人群圈选|  728804|sparkTask|sparkTask|       1|2023-12-07 15:02:...|2023-12-07 15:02:...|
|   212122|  100|同业存单人群圈选|  728804|sparkTask|sparkTask|       1|2023-12-07 15:02:...|2023-12-07 15:02:...|
|   212122|  100|同业存单人群圈选|  728804|sparkTask|sparkTask|       1|2023-12-07 15:02:...|2023-12-07 15:02:...|
|   212122|  100|同业存单人群圈选|  728804|sparkTask|sparkTask|       1|2023-12-07 15:02:...|2023-12-07 15:02:...|
|   212122|  100|同业存单人群圈选|  728804|sparkTask|sparkTask|       1|2023-12-07 15:02:...|2023-12-07 15:02:...|
|   212122|  100|同业存单人群圈选|  728804|sparkTask|sparkTask|       1|2023-12-07 15:02:...|2023-12-07 15:02:...|
|   212122|  100|同业存单人群圈选|  728804|sparkTask|sparkTask|       1|2023-12-07 15:02:...|2023-12-07 15:02:...|
|   212122|  100|同业存单人群圈选|  728804|sparkTask|sparkTask|       1|2023-12-07 15:02:...|2023-12-07 15:02:...|
|   212122|  100|同业存单人群圈选|  728804|sparkTask|sparkTask|       1|2023-12-07 15:02:...|2023-12-07 15:02:...|
|   212122|  100|同业存单人群圈选|  728804|sparkTask|sparkTask|       1|2023-12-07 15:02:...|2023-12-07 15:02:...|
|   212123|  100|同业存单人群圈选|  728804|sparkTask|sparkTask|       1|2023-12-07 15:02:...|2023-12-07 15:02:...|
|   212123|  100|同业存单人群圈选|  728804|sparkTask|sparkTask|       1|2023-12-07 15:02:...|2023-12-07 15:02:...|
|   212123|  100|同业存单人群圈选|  728804|sparkTask|sparkTask|       1|2023-12-07 15:02:...|2023-12-07 15:02:...|
|   212123|  100|同业存单人群圈选|  728804|sparkTask|sparkTask|       1|2023-12-07 15:02:...|2023-12-07 15:02:...|
|   212123|  100|同业存单人群圈选|  728804|sparkTask|sparkTask|       1|2023-12-07 15:02:...|2023-12-07 15:02:...|
|   212123|  100|同业存单人群圈选|  728804|sparkTask|sparkTask|       1|2023-12-07 15:02:...|2023-12-07 15:02:...|
|   212123|  100|同业存单人群圈选|  728804|sparkTask|sparkTask|       1|2023-12-07 15:02:...|2023-12-07 15:02:...|
|   212123|  100|同业存单人群圈选|  728804|sparkTask|sparkTask|       1|2023-12-07 15:02:...|2023-12-07 15:02:...|
|   212123|  100|同业存单人群圈选|  728804|sparkTask|sparkTask|       1|2023-12-07 15:02:...|2023-12-07 15:02:...|
|   212123|  100|同业存单人群圈选|  728804|sparkTask|sparkTask|       1|2023-12-07 15:02:...|2023-12-07 15:02:...|
+---------+-----+----------------+--------+---------+---------+--------+--------------------+--------------------+

2.创建指定结构的空Dataset
在项目开发中，如果需要读取csv文件或者读取MySQL创建Dataset时，有可能出现异常，为避免服务雪崩，那么可以使用创建指定相同结构的空Dataset去参与计算。
例如：

public static Dataset<Row> getDataByPartition(SparkSession session, String table, String partColumn, String selectColumns, String condition) {
        Map<String, String> dbOptions = new HashMap<>();
        dbOptions.put("driver", envMap.get("DRIVER"));
        dbOptions.put("url", envMap.get("URL"));
        dbOptions.put("user", envMap.get("USER"));
        dbOptions.put("password", envMap.get("PASSWORD"));

        //查询需要的数据
        String dataSelect = String.format("select %s from %s ", selectColumns, table);
        dataSelect += condition;
        Map<String, String> options = new HashMap<>();
        options.put("query", dataSelect);
        options.put("numPartitions", String.valueOf(EnvConstant.PARTITION_NUM));
        options.putAll(dbOptions);
eturn session.read().format("jdbc").options(options).load();

这样分区读数据库来创建视图，有可能会产生异常，程序可能会崩溃，加入一下处理

// 逗号分隔格式：selectColumns = "client_id, score, group_name, group_id, creater, updater|del_flag, created_time, update_time";
    public static Dataset<Row> generateEmptyDataset(SparkSession session, String selectColumns) {
        StructType schema = new StructType();
        if (StringUtils.isEmpty(selectColumns)) {
            schema = schema.add(new StructField("emptyDataset", DataTypes.StringType, false, Metadata.empty()));
            return session.createDataset(Collections.emptyList(), Encoders.row(schema));
        }
        String[] split = selectColumns.split(",");
        for (String str : split) {
            String res = str.trim();
            schema = schema.add(new StructField(res, DataTypes.StringType, false, Metadata.empty()));
        }
        return session.createDataset(Collections.emptyList(), Encoders.row(schema));
    }

根据传入的结构，动态创建schema，从而动态生成Dataset
修改后：

public static Dataset<Row> getDataByPartition(SparkSession session, String table, String partColumn, String selectColumns, String condition) {
        Map<String, String> dbOptions = new HashMap<>();
        dbOptions.put("driver", envMap.get("DRIVER"));
        dbOptions.put("url", envMap.get("URL"));
        dbOptions.put("user", envMap.get("USER"));
        dbOptions.put("password", envMap.get("PASSWORD"));

        //查询需要的数据
        String dataSelect = String.format("select %s from %s ", selectColumns, table);
        dataSelect += condition;
        Map<String, String> options = new HashMap<>();
        options.put("query", dataSelect);
        options.put("numPartitions", String.valueOf(EnvConstant.PARTITION_NUM));
        options.putAll(dbOptions);
        try {
            int i = 1/0;
            return session.read().format("jdbc").options(options).load();
        } catch (Exception e) {
            System.out.println("分区查询数据异常：" + e.getMessage());
            Dataset<Row> emptyDataset = generateEmptyDataset(session, selectColumns);
            emptyDataset.show();
            return emptyDataset;
        }
    }

当我设置int i = 1/0产生异常后，创建空dataset

+---------+-----+----------------+--------+---------+---------+--------+--------------------+--------------------+
|client_id|score|      group_name|group_id|  creater|  updater|del_flag|        created_time|         update_time|
+---------+-----+----------------+--------+---------+---------+--------+--------------------+--------------------+
|         |     |                |        |         |         |        |                    |                    |
+---------+-----+----------------+--------+---------+---------+--------+--------------------+--------------------+
容若只如初见
关注
spark笔记之DataSet
qq_40208605的博客
09-05 449
4.1.  什么是DataSet DataSet是分布式的数据集合，Dataset提供了强类型支持，也是在RDD的每行数据加了类型约束。DataSet是在Spark1.6中添加的新的接口。它集中了RDD的优点（强类型和可以用强大lambda函数）以及使用了Spark SQL优化的执行引擎。DataSet可以通过JVM的对象进行构建，可以用函数式的转换（map/flatmap/filter）进行多...
Spark Datasets介绍
Spark MLlib 机器学习
02-23 4363
1、Spark Datasets介绍 1.1 背景 从Spark1.3.0版本开始推出DataFrame，DataFrame让Spark具备了处理大规模结构化数据的能力，在比原有的RDD转化方式易用的前提下，计算性能更快。发布DataFrame之后开发者收到了很多反馈，其中一个主要的是大家反映缺乏编译时类型安全。为了解决这个问题，Spark采用新的 Dataset API (DataFrame
SPARK 对DataSet操作
大怀特的博客
10-11 576
val df = Seq((2L, "a", "foo", 3.0)).toDF df.printSchema // root // |-- _1: long (nullable = false) // |-- _2: string (nullable = true) // |-- _3: string (nullable = true) // |-- _4: double (nullable = false) 最简单的办法toDF方法 val schemas= Seq("id", "x1.
SparkSQL
wz_TXWY的博客
09-27 724
SparkSQL SparkSQL Table of Contents 1. SparkSQL 是什么 1.1. SparkSQL 的出现契机 1.2. SparkSQL 的适用场景 2. SparkSQL 初体验 2.3. RDD 版本的 WordCount 2.2. 命令式 API 的入门案例 2.2. SQL 版本 WordCount 3. [扩展] C...
Spark SQL/DataFrame/DataSet操作（一）-----读数据
微步的博客
09-06 1921
所有示例代码均在spark-shell上运行，我使用的是spark 2.2，其它版本方法类似  。 示例代码中的spark为Spark session变量   一、读取数据源 （1）读取json ，使用spark.read。注意：路径默认是从HDFS，如果要读取本机文件，需要加前缀file://，如下 scala&gt; val people = spark.read.format("...
学习笔记Spark（八）—— Spark SQL应用（3）—— Spark DataSet基础操作
别呀的博客
10-13 1061
三、Spark DataSet基本操作 3.1、DataSet简介 DataSet是分布式的数据集合，DataSet提供了强类型支持，也是在RDD的每行数据加了类型约束。 DateSet整合了RDD和DataFrame的优点，支持结构化和非结构化数据。 DataFrame表示为DataSet[Row]，即DataSet的子集。 DataSet是面向对象的编程接口，可以通过JVM的对象进行构建DataSet。 3.1.1、DataFrame的缺点 编译时不能类型转化安全检查，运行时才能确定是否有问题
大数据Spark DataFrame/DataSet常用操作
赵广陆
12-19 4785
目录1 一般操作：查找和过滤1.1 读取数据源1.1.1读取json1.1.2 读取Hive表1.2 取数据列1.3 过滤算子filter(filter等价于where算子)2 聚合操作：groupBy和agg2.1 排序算子sort(sort等价于orderBy)2.2 分组函数groupBy2.2.1 分组计数2.2.2 分组后求最值、平均值、求和的方法2.2.3 分组后，求多个聚合值（最值、平均值等）。使用算子groupBy+agg2.2.4 分组聚合后取别名2.2.5 分组后行转列，使用pivot2
Spark学习笔记 Spark学习笔记 Spark学习笔记
08-07
Spark 学习笔记 Spark 是一个基于内存的分布式计算框架，它提供了高效、灵活、可扩展的数据处理解决方案。Spark 的核心组件是 Resilient Distributed Dataset (RDD)，它是一个弹性的分布式数据集合，提供了高效的...
Spark学习笔记12：DataFrame与Dataset
balabalalibala的博客
06-13 809
在Spark中，一个DataFrame所代表的是一个元素类型为Row的Dataset，即DataFrame只是Dataset[Row]的一个类型别名。
spark笔记整理文档
01-18
本篇笔记将深入探讨Spark的核心概念、架构设计以及实际应用，旨在帮助读者全面理解并掌握Spark。 1. Spark概述： Spark最初由加州大学伯克利分校AMPLab开发，其设计理念是提供一个快速、通用且可扩展的大数据处理...
Spark dataset and dataframe 深入分析
12-11
SPARK 最新版本支持的dataset and dataframe的深入分析和设计
spark笔记.zip
04-23
3. Spark SQL与DataFrame/Dataset：Spark SQL引入DataFrame和Dataset，提供更接近于传统SQL的接口，使得数据处理更加方便。DataFrame是基于Schema的RDD，而Dataset则结合了RDD的性能和强类型的优势。 4. Spark ...
Spark Dataset
an13654067079的博客
08-12 1422
Spark Dataset
Spark---Dataset
shall潇の菜园
05-11 186
文章目录DatasetCatalyst Dataset 公共类Dataset 扩展对象 实现scala.Serializable 数据集是特定于域的对象的强类型集合，可以使用功能或关系操作并行转换它们。每个数据集还具有一个称为a的无类型视图DataFrame，该视图是的数据集Row。 官方参考文档：点这里 package testrdd import org.apache.spark.{SparkConf, SparkContext} import org.apache.spark.sql.Spar
spark之Dataset
MY BLOG
09-15 499
@InterfaceStability.Stable public class Dataset<T> extends Object implements scala.Serializabl 1）Dataset是面向特定领域的强类型集合 2）每个Dataset具有一个称为DataFrame的无类型视图，该视图是Row的Dataset。 3）与RDD类似，DataSet包含Transformation和Action两种操作。 4）两种创建Dataset的方式： 使用SparkSessio.
spark使用DataSet
serenysdfg的博客
03-05 601
本文中，我们介绍了Spark的基本概念，并通过spark shell演示了spark中的核心Api DataSet的使用。 在后面的文章中将会介绍spark中两个重要的扩展库Spark SQL和StructruedStreaming等,它们为数据的处理提供了更加方便和强大的操作。 Spark依然处于快速发展阶段中，其提供的功能可能随着版本的演进也会在不停的演进，就如RDD被DataSet替换，...
Spark Dataset 入门详解
鸭梨的博客
11-24 1159
定义 class Dataset[T](sparkSession: SparkSession, queryExecution: QueryExecution, encoder: Encoder[T]) extends Serializable 数据集是特定于域的对象的强类型集合，可以使用函数或关系操作并行转换这些对象。每个数据集还有一个称为DataFrame的非类型化视图，它是Row的数据集。 数据集上可用的操作分为转换和操作。转换是生成新数据集的转换，而操作是触发计算并返回结果的操作。示例转换包括map
Spark SQL之Dataset
派大星的博客
09-01 1097
Dataset
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

容若只如初见

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值