Spark sql 使用jdbc/odbc Server连接出现新建的数据表多客户端没法共享

最新推荐文章于 2022-05-15 22:07:36 发布
最新推荐文章于 2022-05-15 22:07:36 发布
阅读量438 收藏
点赞数
分类专栏： spark
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/ltylzq/article/details/79392435
版权

      当启动多个JDBC/ODBC Server时，经常出现的问题是，连接到其中一个Server的客户端可以看到某个新创建的表，而连接到其他Server的客户端却看不到。这是由于默认的缓存机制导致的，在conf目录下的hive-site.xml配置文件下添加以下配置：

<property>

    <name>datanucleus.cache.level2.type</name>

    <value>none</value>

    <description>关闭缓存</description>

</property>


ltylzq
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Spark SQL读取Hive数据配置及使用Thrift JDBC/ODBC Server访问Spark SQL
Fang的博客
01-11 1万+
[TOC] Spark SQL可以读取hive中的数据,开启Thrift JDBC/ODBC Server服务可以使其他语言客户端使用Spark SQL.关于Spark SQL中对hive的支持,官方文档说明让人疑惑,好像没有把hive编译进去,需要自己手动编译,官方文档提及: Spark SQL also supports reading and writing data stored in
parquet-index：Parquet表的Spark SQL索引
01-28
它设计用于表不经常更改但经常用于查询的用例，例如使用Thrift JDBC / ODBC服务器。 建立索引后，架构和文件列表（包括分区）将自动从索引元存储中解析，而不是每次创建数据源时都推断架构。 项目是实验性的。 ...
在spark SQL中指定多个表
qq_36248805的博客
02-20 1822
1.写一个创建mysql表的工具类Utility.scala /** * 创建mysql的表 * * @param url msyql的url * @param userName mysql用户名 * @param password mysql密码 * @param tables 注册的表名集合 * @param spark...
spark介绍4（sparksql）ODBC（Windows）gc
dci75702的博客
03-28 280
（ODBC是open database connection开源数据连接） 在Windows控制面板的管理工具里面 GC（Garbage Collection)：JAVA/.NET中的垃圾回收器 logical 合乎逻辑的 optimized 优化的 intelligent智能的 ...
第5章 JDBC/ODBC服务器
weixin_30914981的博客
08-12 88
第5章 JDBC/ODBC服务器 　　Spark SQL也提供JDBC连接支持，这对于让商业智能(BI)工具连接到Spark集群上以 及在多用户间共享一个集群的场景都非常有用。JDBC 服务器作为一个独立的 Spark 驱动 器程序运行，可以在多用户之间共享。任意一个客户端都可以在内存中缓存数据表，对表 进行查询。集群的资源以及缓存数据都在所有用户之间共享。 　　Spa...
162、Spark SQL实战开发进阶之Thrift JDBC、ODBC Server
ZJ__ZFH的博客
01-24 2259
Spark SQL的Thrift JDBC/ODBC server是基于Hive 0.13的HiveServer2实现的。这个服务启动之后，最主要的功能就是可以让我们通过Java JDBC来以编程的方式调用Spark SQL。此外，在启动该服务之后，可以通过Spark或Hive 0.13自带的beeline工具来进行测试。 要启动JDBC/ODBC server，主要执行Spark的sbin目录下...
基于Spark SQL技术的工业数据统计研究.pdf
09-19
Hive-ThriftServer提供CLI和JDBC/ODBC接口，方便用户交互。这些模块的协同工作使得Spark SQL能够高效地处理大规模的工业数据。 在工业数据统计研究中，使用Spark SQL可以对收集到的大量数据进行统计分析，了解生产...
利用Spark SQL分析传统数据源的通用步骤.pdf
09-19
Spark SQL提供了多种数据源连接器，如JDBC、ODBC、CSV、Avro等，使得数据导入变得更加灵活。 Step 2：数据注册 在Spark SQL中，需要将数据注册到Catalog中，以便能够在SQL语句中使用。我们可以使用CREATE TABLE...
kyuubi：Kyuubi是一个统一的多租户JDBC接口，用于大规模数据处理和分析，基于Apache Spark构建
02-06
它提供了标准化的JDBC接口，在大数据场景中具有易于使用的数据访问。 最终用户可以专注于开发自己的业务系统并挖掘数据价值，而不必了解底层的大数据平台（计算引擎，存储服务，元数据管理等）。 Kyuubi依靠Apache...
kyuubi:Kyuubi是基于Apache Spark构建的用于大规模数据处理和分析的分布式多租户JDBC服务器
04-21
Kyuubi是基于构建的高性能通用JDBC和SQL执行引擎。 Kyuubi的目标是促进用户处理大数据（如普通数据）。 它提供了标准化的JDBC接口，在大数据场景中具有易于使用的数据访问。 最终用户可以专注于开发自己的业务系统并...
spark Thrift JDBC/ODBC Server配置
袁一白的博客
01-04 2730
必要性 spark Thrift JDBC/ODBC Server服务能降低Spark的使用难度（对外仅SQL） 配置过程 首先，正常配置spark 编写脚本 start-thriftserver.sh 启动服务（包含动态资源申请） [root@prd-pg-cdh-node-190 spark-2.3.1-bin-hadoop2.6]# cat start-thriftserver.sh #!...
SparkSql——jdbc两种连接和转储表的方式
yyf960126的博客
05-16 415
package spark.SparkSql import java.util.Properties import org.apache.spark.sql.SparkSession object sparkSql3 { def main(args: Array[String]): Unit = { val spark = SparkSession.builder().mast...
spark SQL Running the Thrift JDBC/ODBC server
风行天下
03-04 9507
Running the Thrift JDBC/ODBC server 1:运行 ./sbin/start-thriftserver.sh  --hiveconf hive.server2.thrift.port=10000  --hiveconf hive.server2.thrift.bind.host=feng02 --master spark://feng02:7077 --d
通过JDBC/ODBC方法连接SQL Servers与MyEclipe(SQL)
S.H.的部落格林
07-30 816
本文将介绍如何通过JDBC/ODBC方式连接SQL Servers 与 MyEclipe, 使得通过web修改DB内容 本文主要完成一个简单的注册系统，主要步骤 ：  1. 通过SQL Server 创建DB 数据库， 用于存放用户名和密码 2. 创建网页，注册账户，将账户信息更新到步骤一创建的数据库中 下面我们一步步来完成我们的功能 1. 创建 TestDB数据库 在对象资源管理器中
Spark SQL 快速入门系列（六）Spark SQL 访问 JDBC
weixin_45417821的博客
09-06 786
这里写目录标题JDBC准备 MySQL 环境使用 SparkSQL 向 MySQL 中写入数据从 MySQL 中读取数据 JDBC 导读 1，通过 SQL 操作 MySQL 的表 2，将数据写入 MySQL 的表中 准备 MySQL 环境 在使用 SparkSQL 访问 MySQL 之前, 要对 MySQL 进行一些操作, 例如说创建用户, 表和库等 Step 1: 连接 MySQL 数据库 在 MySQL 所在的主机上执行如下命令 mysql -uroot -p Step 2: 创建 Spark 使
spark sql
yuangeqing的博客
11-07 1894
一：概要 spark sql是一个用于结构化数据处理的spark模块。不像是spark RDD API，Spark  SQL提供的接口提供了数据的结构和计算相关的信息。内部来说，spark sql使用这些额外的信息来执行优化工作。和spark sql交互有以下方式：SQL语句，dataframe的API，datasets的API。当你运算一个结果的时候，使用的是相同的计算引擎，和
spark从入门到放弃三十四:Spark Sql(7) JDBC
u012957549的博客
04-22 2930
文章地址：http://www.haha174.top/article/details/255779 1.简述 Spark Sql 支持使用jdbc 从关系型数据库读取数据（比如mysql ），读取的数据依然用DataSet 表示，很方便地使用Spark core 提供的各种算子进行处理。 这里有一个经验之谈，实际上用Spark Sql 处理JDBC 的数据是非常有用的。比如说...
Spark SQL 之 Performance Tuning & Distributed SQL Engine
zdy0_2004的专栏
12-15 600
http://www.cnblogs.com/BYRans/p/5046154.html 缓存数据至内存（Caching Data In Memory） Spark SQL可以通过调用sqlContext.cacheTable("tableName") 或者dataFrame.cache()，将表用一种柱状格式（ an in­memory columnar format）缓存至内存中。
Hadoop3.x入门-SparkThriftServer部署
小末的博客
05-15 1541
1.前言 SparkThriftServer，简称STS，作为SparkSQL的JDBC/ODBC服务，启动了STS服务后，就可以使用代码程序通过JDBC/ODBC的接口提交Spark SQL。 STS对标的是Hive的HiveServer2，其中代码内部实现也大量参考了HiveServer2。 STS计算引擎为Spark，而HiveServer2默认对应的MapReduce，因此STS的任务的计算速度要比HiveServer2快很多（10-100倍），...
spark通过start-thriftserver.sh启动了JDBC/ODBC 服务器，如何简单得配置连接的账号密码，并且不输入则连接失败
最新发布
06-08
--conf spark.sql.hive.thriftServer.singleSession=true \ --conf spark.sql.hive.thriftServer.userName=default \ --conf spark.sql.hive.thriftServer.password= \ --hiveconf hive.server2.enable.doAs=...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值