SparkSQL JDBC连接

最新推荐文章于 2024-06-01 08:50:02 发布
最新推荐文章于 2024-06-01 08:50:02 发布
阅读量3.4k 收藏 6
点赞数 1
分类专栏： spark 文章标签： hive spark big data jdbc
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_43589217/article/details/122351489
版权

SparkSQL JDBC连接

文章目录


SparkSQL Thrift JDBC/ODBC server
  Spark SQL实现Thrift JDBC/ODBC server,这就意味着我们可以像Hive那样通过JDBC远程连接Spark SQL发送SQL语句并执行。在这之前需要先将hive-site.xml 拷贝到 spark conf目录下，由于我的hive配置了元数据信息存储在MySQL中，所以Spark在访问这些元数据信息时需要mysql连接驱动的支持。
在这里插入图片描述

hive-site.xml文件与mysql驱动拷贝见整合hive博文，如果在其它机器上通过JDBC连接需要重新拷贝。

1、开启hive元数据服务

nohup hive --service metastore >> metastore.log 2>&1 &

在这里插入图片描述

2、开启spark jdbc 服务

cd /usr/local/soft/spark-2.4.5/sbin/
./start-thriftserver.sh --master yarn-client

在这里插入图片描述

3、在命令行中访问

cd /usr/local/soft/spark-2.4.5/bin/
./beeline

在这里插入图片描述

输入
!connect jdbc:hive2://master:10000

在这里插入图片描述

4、测试：

select clazz,count(1) from student group by clazz;

设置sparkshuffle并行度
set spark.sql.shuffle.partitions=2;

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

纯欲天花板_
关注
专栏目录
SparkSQL JDBC 查询Oracle、MySQL 转化为Hudi表
主要分享大数据相关的知识，如Spark、Hudi
05-12 1007
前言 本文总结如何只用SQL迁移关系型数据库中的表转化为Hudi表，这样的意义在于方便项目上对Spark、Hudi等不熟悉的人员运维。 Spark Thrift Server 首先将Orace的驱动拷贝至Spark jars目录下 启动Spark Thrift Server 扩展支持Hudi /usr/hdp/3.1.0.0-78/spark2/bin/spark-submit --master yarn --deploy-mode client --executor-memory 2G --num-exe
Spark使用jdbc连接sparkSQL（hiveserver2）的步骤
liangsir
05-01 9632
根据Spark官网所述，Spark SQL实现了Thrift JDBC/ODBC server： The Thrift JDBC/ODBC server implemented here corresponds to the HiveServer2 in Hive 1.2.1 You can test the JDBC server with the beeline script that...
Spark-SQL连接JDBC的方式及代码写法
weixin_60343288的博客
12-09 933
Spark SQL 是 Spark 用于结构化数据(structured data)处理的 Spark 模块。1.3.3 兼容 Hive。在已有的仓库上直接运行 SQL 或者 HQL。1.2.1 易整合。无缝的整合了 SQL 查询和 Spark 编程。1.2.4 标准数据连接。通过 JDBC 或者 ODBC 来连接。1.2.2 统一的数据访问。使用相同的方式连接不同的数据源。1.首先启动thriftserver服务。2.打开IDEA导入hive-jdbc包。Spark-SQL概述。
Spark SQL数据源 - JDBC
最新发布
IT深耕十余载，大道之简
06-01 803
在Spark SQL中，你可以使用JDBC（Java Database Connectivity）数据源来连接和操作关系型数据库。通过JDBC，Spark可以读取和写入数据到多种关系型数据库，如MySQL、PostgreSQL、Oracle、SQL Server等。
Spark SQL数据源：JDBC
梁辰兴的博客
06-14 3735
Spark SQL还可以使用JDBC API从其他关系型数据库读取数据，返回的结果仍然是一个DataFrame，可以很容易地在Spark SQL中处理，或者与其他数据源进行连接查询。执行上述命令（dbtable属性的值是一个子查询，相当于SQL查询中的FROM关键字后的一部分）注意：Spark 2.4.0开始的Spark SQL的JDBC属性里才有query属性。将数据帧内容以jdbc格式写入数据库spark_db的test表。查看结果数据帧内容，执行命令：resultDF.show()
JDBC访问SparkSQL
程裕强的专栏
01-22 1683
package dao; import java.sql.*; /** * Created by root on 17-1-10. */ public class HiveServer2Dao { /** * 获取链接 * @return */ private static Connection getConn() { Str
使用Spark SQL JDBC
qiulinsama的博客
12-21 1364
Spark SQL JDBC 我们可以使用一个 JDBC 的链接来定义一个 Spark SQL 的表或者视图，这里用表来做示例： 我们先在 mysql 中建立一个需要同步的表 test： CREATE TABLE my.test ( id BIGINT ( 20 ) PRIMARY KEY NOT NULL auto_increment, create_time TIMESTAMP NOT NULL COMMENT '创建时间', name VARCHAR ( 127 ) COMMENT '用户姓名'
sparksql jdbc mysql_SparkSQL-通过JDBC读写mysql数据库
weixin_33601504的博客
02-11 311
object JdbcDatasourceTest {def main(args: Array[String]): Unit = {val spark = SparkSession.builder().appName("JdbcDatasourceTest").master("local").getOrCreate()//url:// jdbc:mysql://master:3306/test//...
Spark-SQL连接JDBC的方式及代码实现
qq_56740631的博客
12-11 552
SparkSQL 提供了通用的保存数据和数据加载的方式。这里的通用指的是使用相同的API，根据不同的参数读取和保存不同格式的数据，SparkSQL 默认读取和保存的文件格式为parquet。
SparkSQL ThriftServer服务的使用和程序中JDBC的连接
afei2530的博客
08-23 534
SparkSQL ThriftServer服务的使用和程序中JDBC的连接 此时要注意版本问题,我第一次用的是hive2.1.1的,因为要用sparksql的hive服务,但是sparksql默认的是1.2的,在替换了下面四个包之后 hive-beeline-1.2.1.spark2.jar hive-cli-1.2.1.spark2.jar hive-exec-1.2.1....
SparkSQL的jdbc操作及java的api操作
03-19
关于SparkSQL的jdbc操作及java的api操作的Idea maven工程代码。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。
SparkSQL 通过jdbc连接Mysql（68）
chongcha5266的博客
04-13 294
import java.sql.Connection; import java.sql.DriverManager; import java.sql.PreparedStatement; import java.util.ArrayList; import java....
sparksql--JDBC
suojie的博客
03-01 210
val mapOptitons=Map[String,String]( ("url","jdbc:mysql://wangfutai:3306/hive"), ("user","hive"), ("password","hive"), ("dbtable","apptab") ) //通过sparkSql，
SparkSQL之JDBC
tangshiweibbs的专栏
05-10 371
package com.uplooking.bigdata.sql.p2 import java.sql.DriverManager import java.util.Properties import org.apache.spark.{SparkConf, SparkContext} import org.apache.spark.sql.{DataFrame, Row, SQ
Spark SQL与JDBC的集成
蔡政洁的博客
12-11 320
数据源： userid,addres,age,username 001,guangzhou,20,alex 002,shenzhen,34,jack 003,beijing,23,lili 创建mysql数据表 create table person( userid varchar(20), addres varchar(20), age varchar(20), username varchar(20) ); insert into person(userid,addres,age,username
spark sql使用jdbc读取数据库的过程
chanyue123的博客
07-21 1705
spark jdbc读取数据库过程
Spark-SQL连接JDBC的方式及代码
Aricya的博客
12-08 1022
Spark SQL支持数据源使用JDBC从其他数据库读取数据。与使用JdbcRDD相比，应优先使用此功能。这是因为结果以DataFrame的形式返回，并且可以轻松地在Spark SQL中进行处理或与其他数据源合并。JDBC数据源也更易于从Java或Python使用，因为它不需要用户提供ClassTag。JDBC和 Kubernetes中的 Java数据源一样，都使用 Java语言编写。不过 JDBC比 JDBC更小，因为它使用标准的 JSON文件格式。
sparkSql jdbc
10-18
您好，Spark SQL提供了JDBC接口，可以通过JDBC连接访问Spark SQL中的数据。您可以使用JDBC驱动程序将Spark SQL作为一个远程数据库来访问。以下是使用Spark SQL JDBC的一些步骤： 1. 下载Spark SQL JDBC驱动程序 2. ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值