Spark SQL Shell 版 使用Delta Lake(05)

最新推荐文章于 2024-09-21 22:20:54 发布
最新推荐文章于 2024-09-21 22:20:54 发布
阅读量7w 收藏
点赞数 1
CC 4.0 BY-SA版权
分类专栏： # 数据湖 文章标签： 数仓建模 数据湖 Delta Lake
版权声明：本文为博主原创文章，遵循 CC 4.0 BY 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/king14bhhb/article/details/121606481
本文详细介绍了如何在Spark SQL Shell中使用Delta Lake，包括解决版本问题、启动参数、写入、读取、更新和删除数据，以及清除历史数据的操作。强调了版本兼容性、--packages选项和DeltaTable对象的使用。

Spark SQL Shell 版 使用Delta Lake

读者交流群已经开通了，有需要的可以私信进入读者交流群

前面我们学了项目工程中使用Delta Lake，但是很多时候我们在学习和实验阶段，都喜欢使用Spark shell ，所以这一节我们介绍一下如何在Spark shell 中使用Delta Lake。

开始之前，我们还是强调一下版本的问题，虽然我们上次我们说过了半本的问题，但是还是有人来问，下面是版本的兼容性问题。

Delta Lake version Apache Spark version
1.0.x 3.1.x
0.7.x and 0.8.x 3.0.x
Below 0.7.0 2.4.2 - 2.4.

我们知道spark shell 有python 版本的和scala 版本的，这里我们只使用一下scala版本的就可以 我们的启动启动命令如下

spark-shell --packages io.delta:delta-core_2.12:1.0.0
了解本专栏 订阅专栏 解锁全文 超级会员免费看
Spark Streaming 使用 Delta Lake(08)
12-02 7万+
Spark Streaming 使用 Delta Lake 前面我们已经介绍了在各种环境中使用Delta Lake，你可以参考 Spark SQL Scala版 使用 Delta Lake Spark SQL Shell 版 使用Delta Lake Spark SQL SQL 版 使用 Delta Lake Spark SQL Python版 使用 Delta Lake 从前面的学习我们知道Delta Lake是完全兼容了Spark API, 而且我们希据数据湖是可以实现我们的离线计算和实时计算使用同
Delta Lake 事务日志实践(11)
12-01 6万+
Delta Lake 事务日志实践 读者交流群已经开通了，有需要的可以私信进入读者交流群 前面我们介绍了Delta Lake 事务日志,具体你可以参考Delta Lake 事务日志,今天我们就借助实际操作，来看一下Delta Lake 事务日志，这里我们使用scala api 来操作 环境准备 scala 版本 2.12.10 spark 版本 3.1.2 启动命令: spark-shell --packages io.delta:delta-core_2.12:1.0.0 --conf "spark
crontab shell调用spark-sql，实现周期性动态SQL批量自动执行.rar
12-18
对于熟悉Scala开发的人来说，对于spark-sql的使用，直接jar包中写入代码处理就能轻松实现动态语句的执行。 但是对于我，不打算学习Scala和Java语言，但是又想定时执行时间推延的周期、定时任务，该肿么办？ spark-sql CLI几个参数，完全满足我等非专业人员。
sparkSQL-shell操作
互联网知识分享
07-31 2189
是一个命令行工具，用于与Spark SQL进行交互并执行SQL查询。安装Spark:首先需要下载和安装Spark，然后将其配置到环境变量中。可以从官方网站（
spark-sql入门（一）通过spark-shell命令行操作
杨先森的专栏
04-17 1万+
SparkSQL是spark用来处理结构化的一个模块，它提供一个抽象的数据集DataFrame,并且是作为分布式SQL查询引擎的应用 注：本文所有操作是基于ambari工具，搭建好了 hdfs yarn hive spark mapReduce等大数据常用的组件 一、进入spark命令窗口 输入命令 spark-shell 以上是各种报错的部分...
spark-SQL-shell操作(超级详细)
互联网知识分享
05-15 1763
用户可以先定义一个简单的Schema，然后逐渐的向Schema中增加列描述。需要注意的是，这些保存模式不使用任何锁定，不是原子操 ,SaveMode详细介绍如下表.加载文件夹,其实原本是加载文件的 ，主要是这个文件名的名字太长，所以就提供了可以使用文件夹。只读取需要的列，支持向量运算，能够获取更好的扫描。）查看 .parquet格式的数据，显示乱码，这个格式如何编写就不演示了。可以跳过不符合条件的数据，只读取需要的数据，降低IO数据量。是自定义的,是标记用的，也是一个文件名，但等号是一定要有的，
Spark入门（五）Spark SQL shell启动方式(元数据存储在derby)
茅坤宝骏氹的博客
01-31 2816
一、spark-sql shell介绍 Spark sql是以hive SQL提交spark任务到spark集群执行。 由于spark是计算框架没有存储功能，所有spark sql数据表映射关系存储在运行shell的当前目录下metastore_db目录里面（spark默认使用derby数据库创建的本地存储，使用其他非本地数据库没有此目录），切换不同的目录启动spark-sql shell会创...
Delta Lake如何使用
最新发布
Casual_Lei的博客
09-21 1374
通过上述步骤，你可以在 Java 项目中使用 Delta Lake 来管理和分析数据。Delta Lake 提供的 ACID 事务、时间旅行等特性使得数据管理更加高效和可靠。
Delta Lake 基础操作篇
lucklilili
02-16 1975
我们在使用写 Delta 数据是非常简单的，这也是 Delte Lake 介绍的 100% 兼容 Spark。Delta Lake 写数据是其最基本的功能，而且其使用和现有的 Spark 写 Parquet 文件基本一致，只不过换做成format("delta")。在介绍 Delta Lake 实现原理之前先来看看如何使用它，使用如下： 我的Spark版本是：3.1.1 如果需要使用Delta，我们在启动spark-shell 新增 --packages参数即可 ./spark-shell -
Spark入门（六）Spark SQL shell启动方式(元数据存储在mysql)
茅坤宝骏氹的博客
01-31 1191
一、hive配置文件 在spak/conf目录添加hive-site.xml配置，设置mysql作为元数据存储的数据库 <?xml version="1.0" encoding="UTF-8" standalone="no"?> <?xml-stylesheet type="text/xsl" href="configuration.xsl"?> <confi...
实战 | 利用Delta Lake使Spark SQL支持跨表CRUD操作
weixin_45906054的博客
04-16 618
供稿 |eBay ADI-Carmel Team作者| 金澜涛编辑 | 顾欣怡本文7309字，预计阅读时间22分钟导读本文介绍eBay Carmel团队利用Delta Lake，使S...
spark-shell & spark-sql 使用
weixin_37417954的博客
07-03 1万+
spark-shell 启动 spark-shell [hadoop@hadoop2 bin]$ ./spark-shell --master local[2] \ --jars /opt/module/hive-1.2.2/lib/mysql-connector-java-5.1.27-bin.jar 通过 spark-shell 操作 hive ...
使用Spark on YARN模式执行Spark Shell和Spark SQL编程
DevGOOD的博客
09-09 468
本文将介绍如何在Spark on YARN模式下使用Spark Shell和Spark SQL进行编程，并提供相应的源代码示例。本文将介绍如何在Spark on YARN模式下使用Spark Shell和Spark SQL进行编程，并提供相应的源代码示例。希望本文能够帮助你入门。下面是一个使用Spark SQL的示例程序，它读取一个表格文件，并执行一个简单的SQL查询，返回满足条件的数据。以下是一个使用Spark SQL的示例程序，它读取一个表格文件，并执行一个简单的SQL查询，返回满足条件的数据。
在Shell 中 Spark-SQL 的调试
雨果等夏天的博客
09-11 1687
对于熟悉Scala开发的人来说，对于spark-sql的使用，直接jar包中写入代码处理就能轻松实现动态语句的执行。 但是对于我，不打算学习Scala和Java语言，但是又想定时执行时间推延的周期、定时任务，该肿么办？ 一 Spark-SQL 是什么 1: Spark-SQL参见参数 \ -d ：–define <key=value> 定义键值对 ：–database 定义使...
Spark SQL Scala版 使用 Delta Lake(04)
热门推荐
11-29 7万+
Spark SQL 使用 Delta Lake 前面我们介绍过了 Delta Lake可以解决我们数据更新和小文件合并的问题，我们知道数据湖三驾马车的特性如下： Iceberg 的设计初衷更倾向于定义一个标准、开放且通用的数据组织格式，同时屏蔽底层数据存储格式上的差异，向上提供统一的操作 API，使得不同的引擎可以通过其提供的 API 接入； Hudi 的设计初衷更像是为了解决流式数据的快速落地，并能够通过 upsert 语义进行延迟数据修正； Delta Lake 作为 Databricks 开源的项目
sparkshell与mysql集成_Spark-Sql整合hive，在spark-sql命令和spark-shell命令下执行sql命令和整合调用hive...
weixin_31147827的博客
01-31 242
2.将配置好的hive-site.xml、core-site.xml、hdfs-site.xml放入$SPARK_HOME/conf目录下[root@hadoop1 conf]# cd /home/tuzq/software/hive/apache-hive-1.2.1-bin[root@hadoop1 conf]# cp hive-site.xml $SPARK_HOME/conf[root@h...
基于sparksql调用shell脚本执行SQL
07-30 8547
[Author]: kwu --- 基于sparksql调用shell脚本执行SQL，sparksql提供了类似hive中的 -e , -f ,-i的选项
【详谈 Delta Lake】系列专题 之 特性 - 03 克隆 Delta Lake / 启用 Spark SQL 语句
weixin_45906054的博客
06-23 483
译者张鹏（卓昇），阿里云计算平台事业部技术专家。前言本文翻译自大数据技术公司 Databricks 针对数据湖 Delta Lake 系列技术文章。众所周知，Databricks 主导着开...
spark任务shell运行_基于sparksql调用shell脚本运行SQL
weixin_30856391的博客
01-17 1070
[Author]: kwu基于sparksql调用shell脚本运行SQL，sparksql提供了类似hive中的 -e , -f ,-i的选项1、定时调用脚本#!/bin/sh# upload logs to hdfsyesterday=`date --date=‘1 days ago‘ +%Y%m%d`/opt/modules/spark/bin/spark-sql -i /opt/bin/...
Apache Spark与Delta Lake数据工程师实战指南
"Apache Spark Delta Lake Data Engineer Guide" 在当今数据密集型的世界中，Apache Spark 和 Delta Lake 已成为构建高效、可靠的数据湖解决方案的关键工具。Apache Spark 是一个流行的开源大数据处理框架，它提供...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

不二人生

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值