spark报错：CREATE TEMPORARY TABLE

最新推荐文章于 2024-01-12 20:34:46 发布
最新推荐文章于 2024-01-12 20:34:46 发布
阅读量2k 收藏 1
点赞数
分类专栏： spark 文章标签： 数据库查询 临时表 CREATE TEMPORARY VIEW Spark 错误解决
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/hzp666/article/details/123061360
版权

异常信息：

2022-02-09 03:14:01 INFO Error in query:
2022-02-09 03:14:01 INFO CREATE TEMPORARY TABLE is not supported yet. Please use CREATE TEMPORARY VIEW as an alternative.(line 3, pos 4)
2022-02-09 03:14:01 INFO 
2022-02-09 03:14:01 INFO == SQL ==
2022-02-09 03:14:01 INFO 
2022-02-09 03:14:01 INFO 
2022-02-09 03:14:01 INFO create temporary table temp_app_jx_official_vender_d_0 as
2022-02-09 03:14:01 INFO ----^^^
2022-02-09 03:14:01 INFO SELECT

解决方案：

方案一：请使用CREATE TEMPORARY VIEW语法

方案二：升级至spark3.0版本，并且增加参数spark.sql.legacy.hive.tmpTable=true

hzp666
关注
专栏目录
Hudi Spark SQL源码学习总结-Create Table
主要分享大数据相关的知识，如Spark、Hudi
07-22 1717
简要总结HudiSparkSql源码执行逻辑，从建表开始。其实从去年开始接触Hudi的时候就研究学习了HudiSparkSQL的部分源码，并贡献了几个PR，但是完整的逻辑有些地方还没有完全梳理清楚，所以现在想要从头开始学习，搞懂一些知识难点，这样以后看相关源码的时候就不会导致因为一些关键点不懂影响进度。由于本人能力和精力有限，本文只讲解自己觉得比较关键的点，主要目的是梳理整个流程。搞懂了SparkSQL默认的sqlParser为,那么Hudi是一样的吗？那我们就需要看一下开始的这里的f为为。...
Cannot modify the value of a static config: spark.sql.queryExecutionListeners
九师兄
07-04 1714
1.背景 19/09/04 19:31:13 INFO state.StateStoreCoordinatorRef: Registered StateStoreCoordinator endpoint Exception in thread "main" org.apache.spark.sql.AnalysisException: Cannot modify the value of a st...
Spark SQL 【一】
qq_45494908的博客
04-23 788
Spark SQL与Hive on Spark 区别、 SparkContext 与 SparkSession、 Spark SQL 对接hive（spark-shell、spark-sql、thirftserver）
mysql 创建临时表报错_Mysql创建临时表时的lost connection 问题
weixin_34539644的博客
01-21 981
问题描述：首先是在执行一个脚本的时候(mysql < query.sql)，中间会出现Lost connection during query的错误提示，但是错误日志里面没有记录。一开始想到是不是mysql时间相关的配置有问题，检查一下与时间相关的参数，基本上都很大，时间相关的参数这里就不赘述了。那么是什么问题导致的呢，没有日志，只有这个dt的错误。之后在相同的环境下测试了一个创建临时表的语...
SparkSql 创建临时表
a18295764050的博客
08-09 2839
Spark sql 创建临时表
java.sql.SQLException: Statement violates GTID consistency: CREATE TEMPORARY TABLE 解决
richard的专栏（bigdata.han@gmail.com）
09-17 6622
开发反馈存储过程程序报错 报错信息：java.sql.SQLException: Statement violates GTID consistency: CREATE TEMPORARY TABLE and DROP TEMPORARY TABLE can only be executed outside transactional context. These statements are ...
Spark SQL-临时视图、创建临时表的3种各种方式
酒鬼の博客
08-09 1万+
spark-sql createOrReplaceTempView 和createGlobalTempView区别 Spark Application Spark Application 使用： 针对单个批处理作业 多个job通过session交互式 不断满足请求的，长期存在的server 一个Spark job 可以包含多个map和reduce Spark Application 可以包含多个session实例 createOrReplaceTempView：创建临时视图，此视图的生命周期与用于创建.
spark在创建临时表时的异常
wshzd的博客
07-28 2301
通过spark.dataframe（数据框的名字sparkdataframe）创建成临时表（createGlobalTempView(spark_view)）,然后通过%%sql -o -q spark_sql     select * from spark_view  最后检查发现sparkdataframe和spark_sql的数据量是不一样的，有人遇到这种情况了吗？
sparksql 中 create temporary table as
07-11
在 Spark SQL 中，"create temporary table as" 是一种创建临时表的方法。它允许你使用一个查询结果集来创建一个临时表，这个临时表只在当前会话中可见，并在会话结束后自动删除。 下面是一个示例代码： ```scala ...
Spark Doris Connector 可以支持通过 Spark 读取 Doris 数据类型不兼容报错解决
最新发布
helloxiaozhe的博客
01-12 1683
Spark Doris Connector 可以支持通过 Spark 读取 Doris 数据，但部分doris类型spark doris connector不兼容报错解决方案 .spark.exception.ConnectedFailedException: Connect to Doris BE{host='172.xxx.yyyy.10', port=9060}failed.
MYSQL中的CREATE TEMPORARY TABLE
arrow_pig的专栏
01-07 8247
Posted on八月 19, 2008byarrowpig1979<br />记录一下今天的一个BUG FIXING。早上收到一个BUG，说有一个到模块A的调用B，多执行几次以后就会出错。错误信息显示SQL ERROR。因为CDC SBE就我最近改过模块A的代码，就把BUG塞给我了。<br />Trouble Shooting的过程：先检查error log, 没有发现明显问题。于是我把debug log打开后重起模块A，然后手动执行那个调用B，于是我从debug log中拿到了调用B所对应的函数
spark中使用select * fromTableName报错，原因及解决方法
FanDDDN的博客
07-05 335
spark中使用select * fromTableName报错
通过Thrift Server使用JDBC来运行Spark SQL
陆云子安的专栏
09-19 6070
通过Thrift Server使用JDBC来运行Spark SQL标签（空格分隔）： thriftserver jdbc sparkSQL更新记录初始发布：2017-09-19 第一次更新：xxx简介Thrift JDBC/ODBC Server (简称 Spark Thrift Server 或者 STS)是Spark SQL的Apache Hive HiveServer2的端口，通过这个端口可
使用Spark SQL的临时表解决一个小问题
weixin_43813200的博客
07-20 1245
上面代码里的ids，就是我们需要转化成内存表的数据，然后需要转成Seq，并生成RDD，再通过RDD转成DataFrame，注意如果要使用DF，需要导入importspark.implicits._包下面的函数，这样就能隐式的直接转成DF，在转成DF的同时，我们给数据指定了列名叫id，这里如果有多列，后面可以继续逗号分隔，添加多个列名，最终我们给它注册成了内存临时表，然后在下面的语句中就可以直接使用hive里面存在的表与内存表进行join，最终我们打印一下成功join后数量，可以验证下程序是否正常运行。...
mysql 临时表权限_MySQL临时表浅析
weixin_42395498的博客
01-19 1324
一、MySQL如何使用内部临时表？在某些情况下，服务器会在处理query的时候组建内部临时表，这种表有两种存在形式：1)、位于内存中，使用的是MEMORY存储引擎(内存临时表)2)、位于磁盘上，使用MyISAM存储引擎(硬盘临时表)服务器可能在最初创建的是内存临时表，之后当其变大到一定程度时再转变为磁盘临时表。对于服务器什么时候创建内部临时表或者临时表使用哪种存储引擎，用户不能直接控制。二、那么服...
HiveQL快速上手
qq_42603181的博客
04-20 1328
HiveQL语法参考，快速上手
spark sql 编程笔记
山鬼谣的专栏
06-22 383
环境 spark：2.3.1 java：1.8 Hadoop：2.7.6 前言 个人笔记 正文 SparkSession 这个是java代码的入口点。一切的一切都是从这里开始的。 DataFrames 相当于关系型数据库中的表的概念 在spark中是Rows。 Temporary views 临时视图 创建方法： SparkSession spark =...
SparkSQL操作Hive Table（enableHiveSupport()）
热门推荐
就问你吃不吃药
11-03 3万+
Spark SQL支持对Hive的读写操作。然而因为Hive有很多依赖包，所以这些依赖包没有包含在默认的Spark包里面。如果Hive依赖的包能在classpath找到，Spark将会自动加载它们。需要注意的是，这些Hive依赖包必须复制到所有的工作节点上，因为它们为了能够访问存储在Hive的数据，会调用Hive的序列化和反序列化(SerDes)包。Hive的配置文件hive-site.xml、co
spark 并行处理_如何使用Spark集群并行处理大数据
cumi7754的博客
08-02 1947
spark 并行处理by Hari Santanam 通过Hari Santanam 如何使用Spark集群并行处理大数据 (How to use Spark clusters for parallel processing Big Data) 将Apache Spark的弹性分布式数据集(RDD)与Databricks一起使用 (Use Apache Spark’s Resilient D...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值