spark学习:如何用spark sql改造存储过程(以PostgreSql为例)

已于 2023-05-23 15:53:46 修改
阅读量976 收藏 1
点赞数
分类专栏： Spark 文章标签： spark 学习 sql
于 2023-05-04 11:17:48 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/nzbing/article/details/130422733
版权

存储过程改造

一、存储过程改造

如果用spark或用jdbc调用存储过程,存储过程还是在数据库执行,执行时间和资源消耗取决于数据库的性能,压力也给到数据库这边,可以利用spark sql改造存储过程
1、若存储过程只是查询语句,返回游标等数据集

  • 可以将存储过程中的查询语句改造为视图
create view test_view as select ...;
  • 然后用spark.read的jdbc读取视图,转换为spark中的DataFrame
val jdbcDF = spark.read.format("jdbc"<
了解本专栏 订阅专栏 解锁全文 超级会员免费看
我爱夜来香A
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
订阅专栏
【Spark】Spark 存储原理--写数据过程
w1992wishes的博客
03-23 1029
本篇结构： 写数据块过程 写内存 写磁盘 写远程 一、写数据块过程 分析读数据过程时，可以了解到 RDD.iterator -> RDD.getOrCompute -> BlockManager.getOrElseUpdate 既是读数据的入口，也是写数据的入口。 不同的是，读数据走 BlockManager.get 方法，而写数据走 doPutIterator 方法。 在 doP...
python:自我指导的python PostgreSQL PostgreSQL Apache Spark Apache Airflow项目
03-29
标题中的“自我指导的python PostgreSQL PostgreSQL Apache Spark Apache Airflow项目”揭示了这是一个综合性的学习或实战项目，旨在通过Python编程语言，结合PostgreSQL数据库、Apache Spark大数据处理框架以及...
Apache Spark 完全替代传统数仓的技术挑战及实践
大数据星球-浪尖
08-15 679
7月30日，由 Kyligence 主办的 Data & Cloud Summit 2021 行业峰会在上海成功举办，此次峰会特设「开源有道」分论坛，邀请了来自 Apache Ky...
Spark SQL笔记整理（三）：加载保存功能与Spark SQL函数
weixin_34038652的博客
05-09 131
[TOC] 加载保存功能 数据加载（json文件、jdbc）与保存（json、jdbc） 测试代码如下： package cn.xpleaf.bigdata.spark.scala.sql.p1 import java.util.Properties import org.apache.log4j.{Level, Logger} import org.apache.spark.{SparkC...
Spark的存储分析过程（一）
杨杨的博客
10-19 956
在我们的Spark的存储当中有如下的类是起到至关重要的重要的 1，BlockManager：运行在每个节点(driver和executors)上的管理器,它提供用于将本地和远程的块放入和取回到各种存储(内存,磁盘和堆外)的接口，只有调用了initialize()方法之后这个对象才有效 如果这个BlockManager运行在我们的Driver上，那么这个BlockManager主要是负责管理整个J
SparkSQL-数据的加载和保存
dafsq的博客
03-16 1539
SparkSQL-数据的加载和保存
spark-postgres:适用于Apache Spark的PostgreSQL和GreenPlum数据源
05-24
适用于Apache Spark的PostgreSQL和GreenPlum数据源 一个库，用于使用Apache Spark从Greenplum数据库读取数据并将数据传输到Greenplum数据库，用于Spark SQL和DataFrame。 在将数据从Spark传输到Greenpum数据库时，该...
毕业设计：基于Django+Spark的图书智能推荐系统.zip
最新发布
07-31
4. 模型训练：使用Spark的MLlib训练推荐模型，优化参数以提高推荐准确性。 5. 模型评估：使用交叉验证、AUC、RMSE等指标评估模型性能。 6. 集成Django：将训练好的模型集成到Django应用中，实现实时推荐功能。 7. ...
Log-Analysis:使用Flume + Spark + HDFS + HIVE + PostgreSQL构建日志分析系统
05-08
在这个日志分析系统中，各个组件协同工作，形成一个高效的数据处理流水线：Flume收集数据，Spark Stream进行实时处理，Spark SQL执行结构化查询，MLlib实现机器学习模型，HDFS提供大数据存储，而PostgreSQL则作为...
bigdataclass：为期两天的研讨会，内容涉及如何使用R来交互数据库和Spark
02-05
在本次名为"bigdataclass"的研讨会中，主要聚焦于如何利用R语言与数据库进行交互以及如何集成Apache Spark进行大数据处理。研讨会的核心内容是通过R语言这个强大的统计分析工具，来提升数据科学家和分析师在大数据...
Spring boot调用Oracle存储过程的两种方式及完整代码
08-18
主要给大家介绍了关于Spring boot调用Oracle存储过程的两种方式及完整代码，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面来一起学习学习吧
Spark（五）Spark任务提交方式和执行流程
dengshuabi6933的博客
07-14 222
一、Spark中的基本概念 （1）Application：表示你的应用程序 （2）Driver：表示main()函数，创建SparkContext。由SparkContext负责与ClusterManager通信，进行资源的申请，任务的分配和监控等。程序执行完毕后关闭SparkContext （3）Executor：某个Application运行在Worker节点上的一个进程，该进...
【图分析】使用Spark连接PostgreSQL进行聚类分析
sword_csdn的博客
08-14 1042
目录示例数据的可视化连接PG数据库的准备解析geo_json的准备完整示例代码代码结果 示例数据的可视化 连接PG数据库的准备 Spark连接PG需要用到以下jar包 <dependency> <groupId>org.postgresql</groupId> <artifactId>postgresql</artifactId> <version>42.2.14</version> </de
sql解析存储过程
Windows_and_Linux的专栏
11-17 634
创建存储过程时，SQL Server先分析代码以检查语法错误。如果代码通过语法检查
Spark（19）：SparkSQL中数据的加载和保存
yang_shibiao的博客
07-10 581
此外，如果你尝试使用 HiveQL 中的 CREATE TABLE (并非 CREATE EXTERNAL TABLE)语句来创建表，这些表会被放在你默认的文件系统中的 /user/hive/warehouse 目录中(如果你的 classpath 中有配好的 hdfs-site.xml，默认的文件系统就是 HDFS，否则就是本地文件系统)。这里的通用指的是使用相同的API，根据不同的参数读取和保存不同格式的数据， SparkSQL 默认读取和保存的文件格式为 parquet。
Spark存储分析 - RDD存储调用与数据读写过程
走向程序的康庄大道
05-20 2142
RDD存储调用读数据过程写数据过程
Spark执行流程详解
qq_42456324的博客
04-29 4503
1、在命令行执行提交命令时，在spark-submit脚本中，调用了SparkSubmit类中的mainMethod.invoke方法，这个类通过反射，调用我们自定义的类。 2、我们自定义类中的main方法开始执行，初始化了SparkConf和SparkContext，在SparkContext对象被初始化的时候，构造出来DAGScheduler和TaskScheduler。 3、Driver端会对我们的代码进行解析，根据算子记录rdd之间的依赖关系，生成DAG有向无环图。 当程序触发action..
Hudi（7）：Hudi集成Spark之spark-sql方式
yang_shibiao的博客
01-02 2529
默认情况下，如果提供了preCombineKey，则insert into的写操作类型为upsert，否则使用insert。hoodie.sql.bulk.insert.enable 和 hoodie.sql.insert.mode。不需要指定模式和非分区列（如果存在）之外的任何属性，Hudi可以自动识别模式和配置。同hoodie.datasource.write.table.type。为了提高向hudi表加载数据的性能，CTAS使用批量插入作为写操作。表的主键名，多个字段用逗号分隔。
Spark SQL3
qq_30130043的博客
04-09 211
Spark SQL Story Write less code spark.table("").groupBy()..... 从wc的角度来看： external datasource api schema json："dirty" V1：id  username age("20")  V2：id  username nickname age address V3： ...
spark编程:使用spark sql 连接数据库 2020.11.01
03-16
Spark编程可以使用Spark SQL连接数据库。Spark SQL是Spark的一个模块，它提供了一种使用SQL语言进行数据处理的方式。通过Spark SQL，可以使用SQL语句查询和操作数据库中的数据。Spark SQL支持多种数据库，包括MySQL、PostgreSQL、Oracle等。使用Spark SQL连接数据库需要先配置数据库连接信息，然后使用Spark SQL提供的API进行操作。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

我爱夜来香A

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值