Delta Lake 基本操作(Scala)

最新推荐文章于 2024-09-21 22:20:54 发布
置顶 最新推荐文章于 2024-09-21 22:20:54 发布
阅读量1.3k 收藏 7
点赞数 2
分类专栏： Spark 文章标签： 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/hjl18309163914/article/details/103036006
版权

文章目录

Maven配置

<!-- https://mvnrepository.com/artifact/io.delta/delta-core -->
<dependency>
	<groupId>io.delta</groupId>
	<artifactId>delta-core_2.11</artifactId>
	<version>0.4.0</version>
</dependency>

<!-- https://mvnrepository.com/artifact/org.apache.spark/spark-core -->
<dependency>
	<groupId>org.apache.spark</groupId>
	<artifactId>spark-core_2.11</artifactId>
	<version>2.4.3</version>
</dependency>

<!-- https://mvnrepository.com/artifact/org.apache.spark/spark-sql -->
<dependency>
	<groupId>org.apache.spark</groupId>
	<artifactId>spark-sql_2.11</artifactId>
	<version>2.4.3</version>
</dependency>

<!-- https://mvnrepository.com/artifact/org.apache.spark/spark-streaming -->
<dependency>
	<groupId>org.apache.spark</groupId>
	<artifactId>spark-streaming_2.11</artifactId>
	<version>2.4.3</version>
</dependency>

<!-- https://mvnrepository.com/artifact/org.scala-lang/scala-reflect -->
<dependency>
	<groupId>org.scala-lang</groupId>
	<artifactId>scala-reflect</artifactId>
	<version>2.11.8</version>
</dependency>

数据源

Source表

001,张三,男,23,1000
002,李四,女,23,1500
003,王五,男,22,1000
004,马六,女,22,1000
005,何何,男,22,1000
006,家家,女,22,1000
007,乐乐,男,22,1000

Merge表

001,张三,9999
002,李四,9999
004,马六,9999
006,家家,9999
007,乐乐,9999
008,aa,9999
009,bb,9999
010,cc,9999

操作

生成Delta表

case class Source(id: String, name: String, sex: String, age: String, money: String)

import sparkSession.implicits._
val sc = sparkSession.sparkContext
// sourceDF
val sourceDF = sc.textFile("C:\\develop\\IDEA_Pro\\Spark2\\src\\data2\\source.txt")
  .map(line => {
    val arr = line.split(",")
    Source(arr(0), arr(1), arr(2), arr(3), arr(4))
  }).toDF
// write DataFrame as Delta
sourceDF
  .write
  .format("delta")
  .mode("overwrite")
  .save("C:\\develop\\IDEA_Pro\\Spark2\\src\\data2\\source")

查看表目录
在这里插入图片描述
查看事务日志

{"commitInfo":{"timestamp":1573556153112,"operation":"WRITE","operationParameters":{"mode":"Overwrite","partitionBy":"[]"},"isBlindAppend":false}}
{"protocol":{"minReaderVersion":1,"minWriterVersion":2}}
{"metaData":{"id":"7947cb54-8865-46ce-b55e-d70223820ff1","format":{"provider":"parquet","options":{}},"schemaString":"{\"type\":\"struct\",\"fields\":[{\"name\":\"id\",\"type\":\"string\",\"nullable\":true,\"metadata\":{}},{\"name\":\"name\",\"type\":\"string\",\"nullable\":true,\"metadata\":{}},{\"name\":\"sex\",\"type\":\"string\",\"nullable\":true,\"metadata\":{}},{\"name\":\"age\",\"type\":\"string\",\"nullable\":true,\"metadata\":{}},{\"name\":\"money\",\"type\":\"string\",\"nullable\":true,\"metadata\":{}}]}","partitionColumns":[],"configuration":{},"createdTime":1573556149918}}
{"add":{"path":"part-00000-0094a4cf-b47b-490e-b0fe-f1dc67567d16-c000.snappy.parquet","partitionValues":{},"size":1288,"modificationTime":1573556151195,"dataChange":true}}

Update数据

val sourceTable = DeltaTable.forPath(sparkSession, "C:\\develop\\IDEA_Pro\\Spark2\\src\\data2\\source")

//sex='男' money字段后拼接'-11'
sourceTable.update(expr("sex=='男'"), Map("money" -> expr("concat(money, '-11')")))

sourceTable.toDF.show(false)

查看数据
IDEA运行截图
查看表目录
IDEA运行截图
查看事务日志

{"commitInfo":{"timestamp":1573556678631,"operation":"UPDATE","operationParameters":{"predicate":"(sex#664 = 男)"},"readVersion":0,"isBlindAppend":false}}
{"remove":{"path":"part-00000-0094a4cf-b47b-490e-b0fe-f1dc67567d16-c000.snappy.parquet","deletionTimestamp":1573556678114,"dataChange":true}}
{"add":{"path":"part-00000-74b118fb-3229-4b5c-afc8-7e9b8e0ba241-c000.snappy.parquet","partitionValues":{},"size":1300,"modificationTime":1573556678597,"dataChange":true}}

可以看到事务日志中记录remove旧文件, add新文件, 但是remove文件只是在逻辑上删除, 并不会在磁盘上删除, 如需要可以调用vacuum()方法删除磁盘文件

Delete数据

val sourceTable = DeltaTable.forPath(sparkSession, "C:\\develop\\IDEA_Pro\\Spark2\\src\\data2\\source")

sourceTable.delete(expr("sex=='男'"))

sourceTable.toDF.show(false)

查看数据
IDEA运行截图
查看表目录
IDEA截图
查看事务日志

{"commitInfo":{"timestamp":1573556959653,"operation":"DELETE","operationParameters":{"predicate":"[\"(`sex` = '男')\"]"},"readVersion":1,"isBlindAppend":false}}
{"remove":{"path":"part-00000-74b118fb-3229-4b5c-afc8-7e9b8e0ba241-c000.snappy.parquet","deletionTimestamp":1573556959641,"dataChange":true}}
{"add":{"path":"part-00000-59c055a4-cb8a-4517-9728-b8560ea39eda-c000.snappy.parquet","partitionValues":{},"size":1244,"modificationTime":1573556959619,"dataChange":true}}

Merge数据

val sourceTable = DeltaTable.forPath(sparkSession, "C:\\develop\\IDEA_Pro\\Spark2\\src\\data2\\source")
val mergeTable = DeltaTable.forPath(sparkSession, "C:\\develop\\IDEA_Pro\\Spark2\\src\\data2\\merge")

sourceTable.as("source")
  .merge(mergeTable.toDF.coalesce(1).as("merge"), "source.id=merge.id")
  .whenMatched()
  .update(Map("money" -> col("merge.money")))
  .execute()

sourceTable.toDF.show(false)

查看数据
在这里插入图片描述
查看表目录
在这里插入图片描述
查看事务日志

{"commitInfo":{"timestamp":1573557302752,"operation":"MERGE","operationParameters":{"predicate":"(source.`id` = merge.`id`)"},"readVersion":2,"isBlindAppend":false}}
{"remove":{"path":"part-00000-59c055a4-cb8a-4517-9728-b8560ea39eda-c000.snappy.parquet","deletionTimestamp":1573557302730,"dataChange":true}}
{"add":{"path":"part-00000-4bae3c80-c240-4071-a1da-23fefbc508d1-c000.snappy.parquet","partitionValues":{},"size":577,"modificationTime":1573557299796,"dataChange":true}}
{"add":{"path":"part-00051-c9071f45-b856-4ccb-90f9-617ca807b482-c000.snappy.parquet","partitionValues":{},"size":1207,"modificationTime":1573557302538,"dataChange":true}}
{"add":{"path":"part-00170-81e926aa-605a-4651-89a2-c8f9fd4cfe22-c000.snappy.parquet","partitionValues":{},"size":1207,"modificationTime":1573557302646,"dataChange":true}}
{"add":{"path":"part-00197-9f367ee9-ec6b-4c9d-9016-d805d44d03c1-c000.snappy.parquet","partitionValues":{},"size":1207,"modificationTime":1573557302709,"dataChange":true}}

问题

在merge的时候source.merge(mergeDF),会导致merge之后的结果产生很多个小文件, 如上图事务日志中merge更新了几条数据就产生四个文件, 如果更新几十万或者几百万文件是否会产生几百万个小文件

查遍了官方文档和社区也没找到解决方法, 可能在后续版本中会有所改进吧

但是如果需要将merge之后的结果转存到另一个表中倒是可以这么写

val sourceTable = DeltaTable.forPath(sparkSession, "C:\\develop\\IDEA_Pro\\Spark2\\src\\data2\\source")
val mergeTable = DeltaTable.forPath(sparkSession, "C:\\develop\\IDEA_Pro\\Spark2\\src\\data2\\merge")

sourceTable.as("source")
  .merge(mergeTable.toDF.coalesce(1).as("merge"), "source.id=merge.id")
  .whenMatched()
  .update(Map("money" -> col("merge.money")))
  .execute()

sourceTable.toDF
  .coalesce(1)
  .write
  .format("delta")
  .mode("overwrite")
  .save("C:\\develop\\IDEA_Pro\\Spark2\\src\\data2\\result")

sourceTable.toDF.show(false)

版本回溯(Time Travel)

查看版本号为0的数据

sparkSession
	.read
	.format("delta")
	.option("versionAsOf", 0)
	.load("C:\\develop\\IDEA_Pro\\Spark2\\src\\data2\\source")
	.show()

查看数据
在这里插入图片描述

查看版本号为3的数据

sparkSession
	.read
	.format("delta")
	.option("versionAsOf", 3)
	.load("C:\\develop\\IDEA_Pro\\Spark2\\src\\data2\\source")
	.show()

查看数据
在这里插入图片描述

并发写入测试

先后启动两个程序,模拟两个用户

两个用户读取版本为0的数据(同源)

操作相同数据

User1对sex为男的数据操作

User2对sex为男的数据操作

常识告诉我们这样子的不允许的

// User1和User2的代码相同
// 分别放在两个程序中执行
val sourceTable = DeltaTable.forPath(sparkSession, "C:\\develop\\IDEA_Pro\\Spark2\\src\\data2\\source")

sourceTable.update(expr("sex=='男'"), Map("money" -> expr("concat(money, '-100')")))

sourceTable.toDF.show(false)

查看事务日志, 看到除了数据源之外, 只产生了一次提交, 另一次提交引起冲突异常了
在这里插入图片描述
User1执行结果:
在这里插入图片描述

User2执行结果:
在这里插入图片描述
由控制台日志可知, User2的提交与User1的提交冲突, 原因是操作了相同数据

操作不同数据

User1对sex为男的数据操作

User2对sex为女的数据操作

常识告诉我们这样子是允许的, 不同用户操作不同数据互相写数据的不冲突的

// 要分别放在两个程序中执行

// User1
val sourceTable = DeltaTable.forPath(sparkSession, "C:\\develop\\IDEA_Pro\\Spark2\\src\\data2\\source")

sourceTable.update(expr("sex=='男'"), Map("money" -> expr("concat(money, '-100')")))

sourceTable.toDF.show(false)


// User2
val sourceTable = DeltaTable.forPath(sparkSession, "C:\\develop\\IDEA_Pro\\Spark2\\src\\data2\\source")

sourceTable.update(expr("sex=='女'"), Map("money" -> expr("concat(money, '-100')")))

sourceTable.toDF.show(false)

User1执行结果
在这里插入图片描述

User2执行结果
在这里插入图片描述
查看事务日志, 除了版本0的数据源之外, 还产生了两次提交
在这里插入图片描述

由执行结果可见, 两个User同时读取同一份数据源, User1先完成提交更新了数据, User1更新的数据对User2来说是可见的

因为User2在提交的时候,会检查目前最新的表中是否有数据变动, 如变动会读取最新的数据, 然后再次提交

当然上述结果产生的前提就是, 多个用户之间的操作不会冲突

原因

Delta Lake表在多用户提交的场景中

多个用户可以同时写一个表, 但是在同一时间只能一个用户提交事务成功(乐观锁 - 允许多个线程同时读同一份数据, 但是只允许一个线程写数据)

官网截图

  1. User1和User2同时读取000000.json
  2. User1和User2尝试同时往表中写入数据, 这里产生冲突
  3. Delta Lake通过锁机制解决冲突, 只能有一个User提交成功, 假设User1提交成功, 写入日志为000001.json
  4. User2在提交失败后会检查之前读到的数据源有无变化, 如有变化会更新读到的数据, 然后再最新数据的基础上尝试重新提交000002.json

绝大多数情况下, 这种解决冲突的方式是很快进行的

但是出现了无法解决的冲突(上述例子)(User1删除了User2也要删除的文件), 这种情况下就会抛出异常

详情见官方文档

啦啦乐乐
关注
专栏目录
Spark SQL Scala版 使用 Delta Lake(04)
11-29 6万+
Spark SQL 使用 Delta Lake 前面我们介绍过了 Delta Lake可以解决我们数据更新和小文件合并的问题，我们知道数据湖三驾马车的特性如下： Iceberg 的设计初衷更倾向于定义一个标准、开放且通用的数据组织格式，同时屏蔽底层数据存储格式上的差异，向上提供统一的操作 API，使得不同的引擎可以通过其提供的 API 接入； Hudi 的设计初衷更像是为了解决流式数据的快速落地，并能够通过 upsert 语义进行延迟数据修正； Delta Lake 作为 Databricks 开源的项目
Delta Lake 实践指南(18)
12-07 6万+
Delta Lake 最佳实践 这一节我们看一下关于Delta Lake的最佳实践 选择合适的分区字段 可以按列对Delta表进行分区。最常用的分区列是date。遵循以下两条经验法则来决定分区依据的列： 如果列的基数非常高，则不要将该列用于分区。例如，如果按列userId进行分区，并且可以有1M个不同的用户id，那么这是一种糟糕的分区策略。 每个分区中的数据量：如果希望分区中的数据至少为1GB，则可以按列进行分区。 整理文件 如果你不断地向Delta表写入数据，随着时间的推移，它会积累大量的文件，尤其是
使用 Jupiter Notebook 运行 Delta Lake 入门教程
weixin_45906054的博客
02-25 805
作者：吴威，花名无谓，阿里巴巴高级技术专家，2008年加入阿里巴巴集团，先后在B2B和阿里云工作，一直从事大数据和分布式计算相关研究，作为主要开发和运维。人员经历了阿里内部大数据集群的上...
Delta Lake如何使用
最新发布
Casual_Lei的博客
09-21 1039
通过上述步骤，你可以在 Java 项目中使用 Delta Lake 来管理和分析数据。Delta Lake 提供的 ACID 事务、时间旅行等特性使得数据管理更加高效和可靠。
1346 检查整数及其两倍数是否存在
weixin_44171872的博客
09-29 550
题目描述： 给你一个整数数组 arr，请你检查是否存在两个整数 N 和 M，满足 N 是 M 的两倍（即，N = 2 * M）。 更正式地，检查是否存在两个下标 i 和 j 满足： i != j 0 <= i, j < arr.length arr[i] == 2 * arr[j] 示例 1： 输入：arr = [10,2,5,3] 输出：true 解释：N = 10 是 M = 5 的两倍，即 10 = 2 * 5 。 示例 2： 输入：arr = [7,1,14,11] 输出：true 解释
Delta Lake 安装
大数据流浪法师的学习笔记与分享
04-20 2464
Delta Lake 安装 第一步：下载并安装spark2.4.5版本 https://mirror.bit.edu.cn/apache/spark/spark-2.4.5/spark-2.4.5-bin-hadoop2.7.tgz 这里我用于测试，随便选了一个版本，你可以去官网选择你自己的版本。 第二步：下载Delta Lake 0.5版本 Delta Lake 居然没有bin的那种，它居然只有...
Delta Lake 提供纯 Scala\Java\Python 操作 API，和 Flink 整合更加容易
过往记忆大数据
01-06 1329
最近，Delta Lake 发布了一项新功能，也就是支持直接使用 Scala、Java 或者 Python 来查询 Delta Lake 里面的数据，这个是不需要通过 Spark 引擎来...
spark 什么是数据湖？ 什么是deltalake?
Top5软件工程硕士，先后在京东、字节从事多年Java后端开发、实时和离线大数据开发
02-28 1292
What is a data lake? A data lake is a centralized data repository that is capable of storing both traditional structured (row and column) data, as well as unstructured, non-tabular raw data in its native format (like videos, images, binary files, and more
使用 SQL 操作 Delta Lake
过往记忆大数据
09-06 1512
Delta Lake 0.7.0 是随着 Apache Spark 3.0 版本发布之后发布的，这个版本比较重要的特性就是支持使用 SQL 来操作 Delta 表，包括 DDL 和 DM...
Spark SQL Python 版 使用 Delta Lake(07)
热门推荐
12-01 6万+
Python使用 Delta Lake 今天我们看一下如何在Python 中使用 Delta Lake，毕竟现在很多人开发Spark任务是通过Python而不是scala,当然这也体现了Spark 生态的完善。 当然我们还是要看一下版本的兼容情况 Delta Lake version Apache Spark version 1.0.x 3.1.x 0.7.x and 0.8.x 3.0.x Below 0.7.0 2.4.2 - 2.4. 环境准备 通过上面的表格，我们可以使用
【详谈 Delta Lake】系列专题 之 基础和性能 - 03 Delta Lake DML语法 / 处理PB级数据...
weixin_45906054的博客
06-12 400
译者韩宗泽（棕泽），阿里云计算平台事业部技术专家，负责开源大数据生态企业团队的研发工作前言本文翻译自大数据技术公司 Databricks 针对数据湖 Delta Lake 系列技术文章。众...
Delta Lake 基础操作篇
lucklilili
02-16 1727
我们在使用写 Delta 数据是非常简单的，这也是 Delte Lake 介绍的 100% 兼容 Spark。Delta Lake 写数据是其最基本的功能，而且其使用和现有的 Spark 写 Parquet 文件基本一致，只不过换做成format("delta")。在介绍 Delta Lake 实现原理之前先来看看如何使用它，使用如下： 我的Spark版本是：3.1.1 如果需要使用Delta，我们在启动spark-shell 新增 --packages参数即可 ./spark-shell -
Delta Lake基础介绍（商业版）
阿里云云栖号
05-13 908
简介：介绍 Lakehouse 搜索引擎的设计思想，探讨其如何使用缓存，辅助数据结构，存储格式，动态文件剪枝，以及 vectorized execution 达到优越的处理性能。 作者：李洁杏，Databrick资深软件工程师 一、Lakehouse搜索引擎设计背景 1. 数据仓库和Lakehouse 数据管理系统从早期的数据仓库（Data Warehouse），已经发展到今天的Lakehouse。Lakehouse可以同时存储结构化、半结构化和非结构化数据，并且支持流分析、BI、数据科学和机器分析
presto集群部署，并读取delta lake数据
czladamling的博客
12-06 736
记录presto的安装与部署 使用presto读取在hdfs上的delta
Delta Lake 的演进历史及现状
weixin_45906054的博客
03-07 2609
作者王晓龙（筱龙），阿里云开源大数据平台技术专家1Delta Lake 介绍 大数据平台架构发展至今，已经经历了三个阶段的技术演进：从最早的数仓，到数据湖+数仓的架构，再到最近两年的 ...
Delta Lake：使用编程语言向数据湖写入分区表
CodeSpark的博客
09-12 104
数据湖是一种用于存储和管理大规模数据的架构，而Delta Lake则是一种开源的存储框架，可以与包括Spark、PrestoDB、Flink、Trino和Hive等计算引擎以及Scala、Java、Rust和Python等编程语言的API配合使用，实现构建数据湖架构的功能。通过指定分区列和相应的路径，我们可以将数据写入特定的分区，并且可以选择覆盖或追加现有数据。首先，我们需要安装必要的依赖库。此外，如果我们想要将新的数据追加到现有的分区表中，而不是覆盖整个表，可以使用。方法，我们可以将数据写入相应的分区。
数据湖delta lake
qq_36213530的博客
02-26 1120
Table of Content 1. 课程目标 2. 前置技能 3. 一、数据湖概念[了解] 3.1. 1.1 企业的数据困扰 3.1.1. 困扰一：互联网的兴起和数据孤岛 3.1.2. 困扰二：非结构化数据 3.1.3. 困扰三：保留原始数据 3.1.4. 补充：什么是结构化？ 3.1.4.1. 结构化数据 3.1.4.2. 非结构化数据 3.1.4.3. 半结构化数据 3.2. 1.2 数据湖的提出 3.3. 1.3 所以，数据
Delta Lake底层技术详解
ouyangshixiong的专栏
11-26 1465
前言 Delta Lake是DataBricks底层的数据抽象层，解决了以下问题： 第一：Spark任务半途失败问题 第二：JSON数据缺少严格的格式问题 第三：并发一致性的问题 第四：数据恢复问题 第五：海量小文件问题 第六：数据分区问题 第七：数据合规问题 Delta Lake在数据流中的位置 支持的数据Connectors ...
基于Spark3.x的数据湖技术Delta Lake开发实战
06-06
本课程内容整理自一个湖仓一体的数仓项目。Delta Lake、Hudi和Iceberg是三大数据湖技术，当前处于发展初期，已有很多大型互联网公司采用这类技术。在搭建数据平台的过程中，一般会将数据湖和数据仓库结合起来使用，数据湖技术主要解决数据仓库的痛点之一：源头数据的表结构(Schema)变化如何处理？数仓如何存储非结构化数据？本课程通过一个一个代码示例，展示Delta Lake的每个特性，同时会结合实际项目，讲解Delta Lake技术的设计思路，其在湖仓一体建设过程中究竟起到了什么作用。
Scala集合操作详解：数据变换与函数示例
"Scala集合数据操作示例" 在Scala中，集合操作是其强大的特性之一，尤其对于处理数据和实现算法的场景，它提供了丰富的函数库。这篇摘要主要以List类型为例，介绍了如何进行集合的变换操作。 1. 常用操作符（函数...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值