spark的jdbc接口，类似于hiveserver2

于 2024-01-19 15:25:57 发布
阅读量697 收藏 11
点赞数 8
文章标签： spark 大数据 分布式
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_34224565/article/details/135698851
版权

https://spark.apache.org/docs/2.4.0/sql-distributed-sql-engine.html#running-the-thrift-jdbcodbc-server

Spark SQL可以作为一个分布式查询引擎，通过其JDBC/ODBC或命令行接口进行操作。通过JDBC/ODBC接口，用户可以使用常见的数据库工具或BI工具来连接和查询Spark SQL，这使得Spark SQL可以与现有的数据分析工具和报表工具集成，为用户提供了更加灵活和便捷的数据分析和查询方式。

这里实现的Thrift JDBC/ODBC服务器对应于Hive 1.2.1中的HiveServer2。您可以使用Spark或Hive 1.2.1附带的beeline脚本测试JDBC服务器。

这个脚本接受所有bin/spark-submit命令行选项，还可以使用–hiveconf选项来指定Hive属性。您可以运行./sbin/start-thriftserver.sh --help来获取所有可用选项的完整列表。默认情况下，服务器监听localhost:10000。您可以通过环境变量来覆盖这种行为，例如：

Thrift 接口的缺点

https://baijiahao.baidu.com/s?id=1695268888248206405&wfr=spider&for=pc

zdkdchao
关注
Spark: Structured + hive（Jdbc方式）卡死
九师兄
07-04 814
1.背景 Spark: Structured + hive（Jdbc方式）卡死，运行入下 19/11/04 15:50:48 INFO metadata.Hive: Registering function test4 com.dtwave.hive.ExtractComplaintUDF 19/11/04 15:50:48 INFO metadata.Hive: Registering func...
hive jdbc驱动_Spark基础：读写Hive
weixin_39951929的博客
11-29 515
1 Hive相关的操作Spark SQL支持读写Hive，不过Hive本身包含了大量的依赖，这些依赖spark默认是没有的。如果Hive的依赖在Classpath中，那么Spark可以自动加载（注意Spark的worker节点也需要提供这些依赖）。默认配置Hive只需要把相关的hive-site.xml core-site.xml hdfs-site.xml 放到conf目录下即可。当使用hive...
Spark采用jdbc的方式访问hive
孙大迪迪的博客
01-05 4210
这里需要导入一个jdbc-hive依赖 需要注意的是，包的版本一定要确认好，切勿版本过高 <dependency> <groupId>org.apache.hive</groupId> <artifactId>hive-jdbc</artifactId> <ve...
spark通过jdbc连接hive
qq_16234927的博客
07-18 2634
连接hive的方法有很多，这里说说通过jdbc连接hive 首先要把hive下的conf下的hive-site.xml文件复制到编译器中 object readAndWriteHive { //从hive中读取数据表，去重并写到一个新表中 def main(args: Array[String]): Unit = { //加载配置文件 val load = ConfigFa...
spark 通过jdbc读取hive jdbc
wang972779876的博客
06-09 4314
1.通过spark提供的jdbc方式连接代码如下 val spark = SparkSession.builder().master("local").getOrCreate() val rdd = spark.read.format("jdbc") .format("jdbc") .option("driver", "org.apache.hive.jdbc.HiveDriver") .option("url", "jdbc:hive2://hiveserv
spark通过JDBC读取hive事务表
07-20 2896
目前spark2.x版本底层并不支持spark直接访问hive事务表，只能获取表结构，不能获取数据，有兴趣的同学可以试验一下。网上也查阅了很多相关的资料，现在把它们总结一下，目前能想到的解决方案就是通过jdbc的方式获取，以下就是解决方案： sql: str = "(select * from std.ice_tiantongfen_back_for_resolve_url_2) as temp" jdbcDF = sparkSession.read \ .format("jdbc") \
Spark使用jdbc连接sparkSQL（hiveserver2）的步骤
liangsir
05-01 9667
根据Spark官网所述，Spark SQL实现了Thrift JDBC/ODBC server： The Thrift JDBC/ODBC server implemented here corresponds to the HiveServer2 in Hive 1.2.1 You can test the JDBC server with the beeline script that...
Hive--HiveServer2 命令行代码连接、Hive常用命令、自定义UDF函数、排序
qq_41301707的博客
12-15 1581
Hive--HiveServer2 命令行代码连接、Hive常用命令、自定义UDF函数、排序 以下所说的都是针对 Hive 为 1.1.0-cdh5.16.2版本 1 Hive--HiveServer2 命令行代码连接 1.1 配置HiveServer2 WEB 参数 HiveServer2是一个服务端,开启之后可以通过JDBC连接 还对应一个WEB服务，开启WEB服务可以看到当前有哪些Session进行连接，以及执行了哪些语句等详细信息 开启H...
hiveserver2 和beeline_Hive-cli与Beeline的区别
weixin_39928844的博客
12-18 939
Hive-cli与Beeline的区别hive-cli 是hive连接hivesever的命令行工具，从hive出生就一直存在，但随着hive功能的增强、bug的修复、版本升级，hive-cli结构的局限性跟不上hive的发展，如果强行更改就不能满足向下兼容，就出现了全新的beeline命令行结构，即就是hive-cli能做的事beeline都能做，而beeline能做的事hive-cli不一定能...
DataFrameReader、DataFrameWrite、Spark整合Hive、JDBC
funK_91的博客
03-12 1229
数据读写 初识 DataFrameReader SparkSQL 的一个非常重要的目标就是完善数据读取, 所以 SparkSQL 中增加了一个新的框架, 专门用于读取外部数据源, 叫做 DataFrameReader def reader1(): Unit = { // 1. 创建 SparkSession val spark = SparkSession.builder() ...
Hiveserver2的代理执行之路
热门推荐
Hello World
02-10 1万+
hiveserver2的代理访问可以使得平台端代理任意用户执行SQL操作就像该用户自己执行的操作一样（就像一个普通用户直接使用hive CLI执行操作），本文主要探索hiveserver2是如何使用代理的方式实现支持不同用户完成SQL操作，为修改impala支持对应的操作做铺垫。
hive-jdbc-1.2.1.spark2.jar
04-01
hive-jdbc-1.2.1.spark2.jar
【Spark】spark使用jdbc连接带有kerberos认证的hive jdbc
最新发布
善皮之的博客
03-12 1990
使用spark jdbc API 访问带有kerberos的hive jdbc获取数据
SPARK_sql加载,hive以及jdbc使用
dci75702的博客
03-29 236
sql加载 格式 或者下面这种直接json加载 或者下面这种spark的text加载 以及rdd的加载 上述记得配置文件加入.mastrt("local")或者spark://master:7077 dataset的生成 下面是dataframe 下面是dataset ...
spark3.0.x用jdbc读取hive3.1.x数据，结果出现值和列明一样
weixin_44513718的博客
04-25 2098
代码： def readDfdatafromHive(db:String,tablename:String,sparksession:SparkSession ):DataFrame={ val df= sparksession.read .format("jdbc") .option("driver","org.apache.hive.jdbc.HiveDriver") .option("url","jdbc:hive2://hdp100:1111/") .opt
spark SQL Running the Thrift JDBC/ODBC server
风行天下
03-04 9540
Running the Thrift JDBC/ODBC server 1:运行 ./sbin/start-thriftserver.sh  --hiveconf hive.server2.thrift.port=10000  --hiveconf hive.server2.thrift.bind.host=feng02 --master spark://feng02:7077 --d
jdbc连接hive（hiveserver2，spark thriftserver）
记录
04-09 999
import java.sql.*; /** * Created by zheng on 2020/4/9. */ public class HiveClient { public static void main(String[] args) throws SQLException { try { Class.forName("org.ap...
spark Thrift JDBC/ODBC Server配置
袁一白的博客
01-04 2787
必要性 spark Thrift JDBC/ODBC Server服务能降低Spark的使用难度（对外仅SQL） 配置过程 首先，正常配置spark 编写脚本 start-thriftserver.sh 启动服务（包含动态资源申请） [root@prd-pg-cdh-node-190 spark-2.3.1-bin-hadoop2.6]# cat start-thriftserver.sh #!...
spark的thrift-jdbcodbc-server+kerberos编程
SimpleSimpleSimples的博客
04-06 464
1.官网地址 http://spark.apache.org/docs/2.3.3/sql-programming-guide.html#running-the-thrift-jdbcodbc-server 2.启动和连接测试 2.1在找到spark的sbin目录，启动start-thriftserver.sh ./start-thriftserver.sh \ --name zmine...
Spark JDBC并发优化：提升MySQL数据读取性能
"Spark JDBC 读取并发优化主要涉及如何提升 Spark 通过 JDBC 连接 MySQL 数据库时的数据加载性能，防止因单线程任务过重导致的任务挂起或内存溢出问题。优化方法通常包括调整分区策略和配置合适的并行度。" 在 ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值