spark报错：CREATE TEMPORARY TABLE

最新推荐文章于 2023-07-05 16:30:59 发布
最新推荐文章于 2023-07-05 16:30:59 发布
阅读量2k 收藏 1
点赞数
分类专栏： spark 文章标签： 数据库查询 临时表 CREATE TEMPORARY VIEW Spark 错误解决
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/hzp666/article/details/123061360
版权

异常信息：

2022-02-09 03:14:01 INFO Error in query:
2022-02-09 03:14:01 INFO CREATE TEMPORARY TABLE is not supported yet. Please use CREATE TEMPORARY VIEW as an alternative.(line 3, pos 4)
2022-02-09 03:14:01 INFO 
2022-02-09 03:14:01 INFO == SQL ==
2022-02-09 03:14:01 INFO 
2022-02-09 03:14:01 INFO 
2022-02-09 03:14:01 INFO create temporary table temp_app_jx_official_vender_d_0 as
2022-02-09 03:14:01 INFO ----^^^
2022-02-09 03:14:01 INFO SELECT

解决方案：

方案一：请使用CREATE TEMPORARY VIEW语法

方案二：升级至spark3.0版本，并且增加参数spark.sql.legacy.hive.tmpTable=true

hzp666
关注
专栏目录
sql-create-table.zip_Table
09-22
使用`CREATE TEMPORARY TABLE`创建的表只在当前会话中存在，会话结束时自动删除。 15. **索引**： 可以通过`CREATE INDEX`创建索引，提高查询性能，如： ```sql CREATE INDEX idx_Name ON Employees (Name); `...
SparkSQL DSL 语法
cai_and_luo的博客
02-01 1126
SparkSQL DSL 语法 DataFrame 提供一个特定领域语言(domain-specific language, DSL)去管理结构化的数据。 可以在 Scala, Java, Python 和 R 中使用 DSL，使用 DSL 语法风格不必去创建临时视图了 创建一个 DataFrame scala> val df = spark.read.json("data/user.json") df: org.apache.spark.sql.DataFrame = [age: bigint，
java整合spark迁移hive数据到mongo
ProBaiXiaodi的博客
09-07 777
java整合spark迁移hive数据到mongo
Spark SQL-临时视图、创建临时表的3种各种方式
酒鬼の博客
08-09 1万+
spark-sql createOrReplaceTempView 和createGlobalTempView区别 Spark Application Spark Application 使用： 针对单个批处理作业 多个job通过session交互式 不断满足请求的，长期存在的server 一个Spark job 可以包含多个map和reduce Spark Application 可以包含多个session实例 createOrReplaceTempView：创建临时视图，此视图的生命周期与用于创建.
java中使用spark如何将column多列合为一列
ProBaiXiaodi的博客
09-09 2222
java中使用spark如何将column多列合为一列，非常适合java中spark的使用
protobuf-cpp-3.16.0-rc-1-源码+已编译的静态库.zip
01-09
protobuf-cpp-3.16.0-rc-1-源码+已编译的静态库.zip 是一个针对Qt5.9和Windows环境的Protocol Buffers（简称protobuf）的资源包，包含了protobuf 3.16.0版本的源代码以及预编译的静态库。Protocol Buffers是Google...
MySQL中create table语句的基本语法是
01-21
 Create [TEMPORARY] TABLE [IF NOT EXISTS] tbl_name [(create_definition,…)] [table_options] [select_statement] TEMPORARY：该关键字表示用create table新建的表为临时表，此表在当前会话结束后将...
MySQL Temporary Table相关问题的探究1
08-08
首先，我们来看一下在单机模式下，同名的Temporary Table和Normal Table如何共存。正如丁奇提出的问题，创建两个名为'tmp'的表，一个为临时表，另一个为普通表。MySQL允许这样的命名是因为它们存在于不同的命名空间...
Temporary:温度
03-27
标题中的"Temporary:温度"可能是指一个项目或者软件开发中的临时数据处理，特别是与温度相关的数值计算或存储。在IT领域，"Temporary"通常用于表示临时性、非持久化的数据，比如缓存或者中间计算结果。这里的“温度...
Spark SQL 【一】
qq_45494908的博客
04-23 808
Spark SQL与Hive on Spark 区别、 SparkContext 与 SparkSession、 Spark SQL 对接hive（spark-shell、spark-sql、thirftserver）
Spark SQL数据源：Hive表
梁辰兴的博客
06-14 1978
将该文件数据导入表student1中，执行命令：spark.sql(“LOAD DATA INPATH ‘hdfs://master:9000/student/input/student.txt’ INTO TABLE student1”)将数据帧数据写入hive表，执行命令：studentDf.select(“name”, “age”).write.mode(SaveMode.Overwrite).saveAsTable(“test”)这种方式不安全，不建议使用，但是可以在测试环境下暂时解决问题。
spark在创建临时表时的异常
wshzd的博客
07-28 2315
通过spark.dataframe（数据框的名字sparkdataframe）创建成临时表（createGlobalTempView(spark_view)）,然后通过%%sql -o -q spark_sql     select * from spark_view  最后检查发现sparkdataframe和spark_sql的数据量是不一样的，有人遇到这种情况了吗？
通过Thrift Server使用JDBC来运行Spark SQL
陆云子安的专栏
09-19 6087
通过Thrift Server使用JDBC来运行Spark SQL标签（空格分隔）： thriftserver jdbc sparkSQL更新记录初始发布：2017-09-19 第一次更新：xxx简介Thrift JDBC/ODBC Server (简称 Spark Thrift Server 或者 STS)是Spark SQL的Apache Hive HiveServer2的端口，通过这个端口可
HiveQL快速上手
qq_42603181的博客
04-20 1337
HiveQL语法参考，快速上手
spark中使用select * fromTableName报错，原因及解决方法
FanDDDN的博客
07-05 353
spark中使用select * fromTableName报错
spark sql 编程笔记
山鬼谣的专栏
06-22 387
环境 spark：2.3.1 java：1.8 Hadoop：2.7.6 前言 个人笔记 正文 SparkSession 这个是java代码的入口点。一切的一切都是从这里开始的。 DataFrames 相当于关系型数据库中的表的概念 在spark中是Rows。 Temporary views 临时视图 创建方法： SparkSession spark =...
MYSQL & DB2临时表
shirsl的博客
05-29 4191
全局临时表的数据在所有会话结束后才会被清除。全局临时表：全局临时表的生命周期与数据库的生命周期相同，即全局临时表的定义会一直存在于数据库中，直到被删除或数据库关闭。会话临时表：会话临时表仅在创建它的会话中可见，其他会话无法访问该表，因此会话临时表适用于需要会话私有数据的场景。全局临时表：多个会话可以同时读取和修改全局临时表的数据，这使得全局临时表适合用于多个会话之间共享数据的场景。会话临时表：会话临时表的生命周期与创建它的会话的生命周期相同，即会话临时表的定义会在会话结束时自动被删除。
SparkSQL操作Hive Table（enableHiveSupport()）
热门推荐
就问你吃不吃药
11-03 3万+
Spark SQL支持对Hive的读写操作。然而因为Hive有很多依赖包，所以这些依赖包没有包含在默认的Spark包里面。如果Hive依赖的包能在classpath找到，Spark将会自动加载它们。需要注意的是，这些Hive依赖包必须复制到所有的工作节点上，因为它们为了能够访问存储在Hive的数据，会调用Hive的序列化和反序列化(SerDes)包。Hive的配置文件hive-site.xml、co
sparksql 中 create temporary table as
最新发布
07-11
在 Spark SQL 中，"create temporary table as" 是一种创建临时表的方法。它允许你使用一个查询结果集来创建一个临时表，这个临时表只在当前会话中可见，并在会话结束后自动删除。 下面是一个示例代码： ```scala val spark = SparkSession.builder() .appName("Create Temporary Table") .master("local") .getOrCreate() // 创建一个 DataFrame val data = Seq(("Alice", 25), ("Bob", 30), ("Charlie", 35)) val df = spark.createDataFrame(data).toDF("name", "age") // 使用 createTempView 方法来创建临时表 df.createOrReplaceTempView("temp_table") // 使用 createTempViewAs 方法来创建临时表并将查询结果保存到该表中 spark.sql("SELECT name, age FROM temp_table WHERE age > 30").createOrReplaceTempView("temp_table_filtered") // 查询临时表 spark.sql("SELECT * FROM temp_table_filtered").show() ``` 在上面的示例中，首先我们创建了一个 DataFrame，并使用 `createOrReplaceTempView` 方法将其注册为一个临时表。然后，我们使用 `createTempViewAs` 方法将查询结果保存到一个新的临时表中。最后，我们使用 `spark.sql` 方法执行 SQL 查询来检索临时表中的数据。 请注意，临时表只在当前会话中可见，在会话结束后会被自动删除。如果你希望在多个会话之间共享表数据，可以考虑使用全局临时表或永久表。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值