Spark-SQL连接JDBC的方式及代码实现

最新推荐文章于 2024-06-01 08:50:02 发布
最新推荐文章于 2024-06-01 08:50:02 发布
阅读量485 收藏
点赞数
文章标签： hdfs 分布式 linux
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_56740631/article/details/128279750
版权

一 连接方式

1 通用方式

SparkSQL 提供了通用的保存数据和数据加载的方式。这里的通用指的是使用相同的API，根据不同的参数读取和保存不同格式的数据，SparkSQL 默认读取和保存的文件格式为parquet

2 代码实现

2.1 Spark-SQL链接JDBC

（1）启动thriftserver服务

sbin/start-thriftsetver.sh

在这里插入图片描述

（2）在IDEA中导入hive-jdbc包

 <dependency>
      <groupId>org.spark-
最低0.47元/天 解锁文章
CREATE^_^
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
Spark-SQL连接JDBC的方式及代码
Aricya的博客
12-08 922
Spark SQL支持数据源使用JDBC从其他数据库读取数据。与使用JdbcRDD相比，应优先使用此功能。这是因为结果以DataFrame的形式返回，并且可以轻松地在Spark SQL中进行处理或与其他数据源合并。JDBC数据源也更易于从Java或Python使用，因为它不需要用户提供ClassTag。JDBC和 Kubernetes中的 Java数据源一样，都使用 Java语言编写。不过 JDBC比 JDBC更小，因为它使用标准的 JSON文件格式。
大数据技术之Spark——Spark SQL
five小点心的博客
04-06 5278
我们之前学习过hive，hive是一个基于hadoop的SQL引擎工具，目的是为了简化mapreduce的开发。由于mapreduce开发效率不高，且学习较为困难，为了提高mapreduce的开发效率，出现了hive，用SQL的方式来简化mapreduce：hive提供了一个框架，将SQL转换成mapreduce来执行。执行的效率不会因此提升，但开发效率会大大提高。
Spark SQL数据源 - JDBC
最新发布
IT深耕十余载，大道之简
06-01 571
在Spark SQL中，你可以使用JDBC（Java Database Connectivity）数据源来连接和操作关系型数据库。通过JDBC，Spark可以读取和写入数据到多种关系型数据库，如MySQL、PostgreSQL、Oracle、SQL Server等。
【九】Spark SQL用JDBC代码访问ThriftServer
Sid小杰的博客
07-27 2289
1.启动ThriftServer  默认端口在10000 可修改 cd /app/spark/spark-2.2.0-bin-2.9.0 ./sbin/start-thriftserver.sh --master local[3] --jars /app/mysql-connector-java-5.1.46.jar 查看是否启动成功jps -m 2.项目目录 3.pom.xm...
162、Spark SQL实战开发进阶之Thrift JDBC、ODBC Server
ZJ__ZFH的博客
01-24 2252
Spark SQL的Thrift JDBC/ODBC server是基于Hive 0.13的HiveServer2实现的。这个服务启动之后，最主要的功能就是可以让我们通过Java JDBC来以编程的方式调用Spark SQL。此外，在启动该服务之后，可以通过Spark或Hive 0.13自带的beeline工具来进行测试。 要启动JDBC/ODBC server，主要执行Spark的sbin目录下...
SparkSQL 的 Thrift JDBC 服务和 CLI 介绍
初阳
09-03 398
Spark SQL还可以使用JDBC/ODBC或命令行接口（CLI）作为分布式查询引擎。在这种模式下，终端用户或应用程序可以直接与Spark SQL交互来运行SQL查询，而不需要编写任何代码。 运行Thrift JDBC/ODBC服务器 这里实现的Thrift JDBC/ODBC服务器对应于hive 1.2.1中的HiveServer2。您可以使用Spark或Hive1.2.1附带的beeli...
spark-sql课堂讲义.docx
12-05
4. **标准连接性（Standard Connectivity）**：SparkSQL 提供了 JDBC/ODBC 支持，允许 BI 工具和其他应用通过标准接口连接，实现数据的多元化访问。 SparkSQL 的编程模型主要包括 SQL 和 DataFrame/Dataset 两种...
spark-3.2.0-bin-hadoop3-without-hive
04-24
需要注意的是，对于没有 Hive 支持的 Spark，你可能需要使用其他方式来实现数据仓库的功能，比如使用 Parquet 或 Avro 格式存储数据，或者利用 Spark 自身的数据湖解决方案——Delta Lake。 总结来说，“spark-...
spark-sql数据.rar
08-21
Spark SQL支持多种数据源，包括HDFS、Hive、Cassandra、 JDBC/ODBC（连接关系型数据库）等。在这个项目中，数据可能存储在本地文件系统或远程服务器上，Spark SQL可以方便地读取和写入这些数据源。例如，使用`spark...
spark-2.4.0-bin-hadoop2.7.tgz
05-29
2. **Spark SQL**：Spark SQL是Spark用于结构化数据处理的部分，它将SQL查询与DataFrame API结合，允许开发者使用SQL或者DataFrame API进行数据处理。在2.4.0版本中，增强了对JDBC/ODBC的支持，提升了SQL性能，并...
spark-2.4.0-bin-hadoop2.7.rar
05-28
此外，Spark SQL支持更多的数据源，如JDBC、Parquet、JSON、Avro等，使得数据集成变得更加灵活。对于机器学习，Spark MLlib库增加了新的算法和改进了现有算法的性能，例如支持更多类型的机器学习模型，如随机森林、...
Java 连接 Spark Thrift Server/Hive Server总结
主要分享大数据相关的知识，如Spark、Hudi
08-26 2730
我的原创地址：https://dongkelun.com/2021/02/19/javaSparkThriftServer/ 前言 总结Spark Thrift Server、Hive Server以及如何用Java连接 启动 hive server hiveserver2 或 hive --service hiveserver2 默认端口是1000 spark thrift server 修改hive.server2.transport.mode为http(默认值为binary（TCP），可选值HTTP
Spark/Pyspark 通过JDBC连接Sqlserver
weixin_45067618的博客
11-01 1094
自己整理记录的
spark driver节点的搭建，在集群之外搭建一个节点用于提交spark程序到spark集群
bbbeoy的专栏
12-16 313
好多人不知道怎么做，转载来的 在集群之外搭建一个节点用于提交spark程序到spark集群 说明:用于提交程序的节点ip: 192.168.1.188 spark集群Master节点ip:192.168.1.73(spark集群和hadoop集群是在一起的) 1.保证该节点和集群的master节点是互通的,在该节点安装和集群同样版本的spark和hadoop程序， 不需要启动,只用于提交作业时在driver端用于获取集群信息2.配置文件 core-site.xml 修改ip都改成spark集群Maste
SparkSQL使用之JDBC代码访问Thrift JDBC Server
山鹰的专栏
08-22 2133
启动ThriftJDBCServer: cd $SPARK_HOME/sbin start-thriftserver.sh & 使用jdbc访问ThriftJDBCServer代码段： package com.luogankun.spark.sql import java.sql.DriverManager import java.sql.Connect
十三、Spark SQL数据源 - JDBC
zlwm000的博客
06-17 585
Spark SQL还可以使用JDBC API从其他关系型数据库读取数据，返回的结果仍然是一个DataFrame，可以很容易地在Spark SQL中处理，或者与其他数据源进行连接查询。在使用JDBC连接数据库时可以指定相应的连接属性 创建表student，执行命令：CREATE TABLE student (id INT, name VARCHAR(10), gender VARCHAR(2), age INT);启动Spark Shell 读取student表 val studentDF = spark.
SparkSQL（6）——Spark SQL JDBC
Fenggms的博客
10-01 4922
Spark SQL可以通过JDBC从关系型数据库中读取数据的方式创建DataFrame。 通过对DataFrame一系列的计算后，还可以将数据再写回关系型数据库中。 SparkSQL从MySQL中加载数据 package com.fgm.sparksql import java.util.Properties import org.apache.spark.sql.SparkSession ...
Spark Thrift Server 部署与应用
weixin_38251332的博客
03-08 8614
前言 在介绍spark thrift server 需要先介绍一下其与hiverserver2及spark-sql的关系与区别 HiveServer2 Hive提供了一个命令行终端，在安装了Hive的机器上，配置好了元数据信息数据库和指定了Hadoop的配置文件之后输入hive命令，就可以进入到hive的交互式终端，接下来只要编写SQL语句即可，这跟传统RDB数据库提供的终端是类似的。 启动hiveserver2服务后，Hive除了可以通过hive提供的beeline以cli的方式操作hive，还提供了j
SparkSQL ThriftServer配置及连接测试
u012893747的博客
12-05 6954
SparkSQL ThriftServer配置及连接测试
如何使用JDBC连接到刚刚部署好的spark-sql
05-26
一旦你安装好了JDBC驱动程序并将其添加到Spark-SQL的CLASSPATH中，你可以使用以下代码来连接到Spark-SQL： ``` import java.sql.DriverManager import java.sql.ResultSet import java.sql.Statement object ...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值