SparkSQL源代码：GlobalTempView与LocalTempView

最新推荐文章于 2024-05-14 02:06:57 发布

九师兄

最新推荐文章于 2024-05-14 02:06:57 发布

阅读量3.8k

点赞数 1

分类专栏：大数据-spark 文章标签： SparkSQL GlobalTempView LocalTempView

本文为博主九师兄（QQ:541711153 欢迎来探讨技术）原创文章，未经允许博主不允许转载。

本文链接：https://blog.csdn.net/qq_21383435/article/details/79805772

版权

大数据-spark 专栏收录该内容

204 篇文章 480 订阅 ¥49.90 ¥99.00

订阅专栏

本文探讨了SparkSQL中GlobalTempView与LocalTempView的区别，通过源代码分析和实际测试，揭示了GlobalTempView在不同会话间可见，而LocalTempView仅限于当前会话的特性。

摘要由CSDN通过智能技术生成

在这里插入图片描述

简介： GlobalTempView与LocalTempView有什么区别呢？

一般情况，我们直接使用createTempView(tablename)

这里写图片描述

但是我查看源代码，发现createTempView(viewName: String)调用了createTempViewCommand(viewName, replace = false, global = false)

 @throws[AnalysisException]
  def createTempView(viewName: String): Unit = withPlan {
    createTempViewCommand(viewName, replace = false, global = false)
  }

而createTempViewCommand(viewName, replace = false, global = false)

了解本专栏

订阅专栏解锁全文

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

九师兄

关注关注

1
点赞
踩
3

收藏

觉得还不错? 一键收藏
打赏
0
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫

专栏目录

订阅专栏

【Spark基础】-- 视图(view)

欢迎来到我的博客，一起探索代码里的世界！

08-11

2884

目录 1、视图(view)介绍 1.1 定义 1.2 作用 2、视图的分类 3、视图操作 4、注意事项 5、参考 1、视图(view)介绍 1.1 定义从一个或多个表导出的虚拟的表，其内容由查询定义。具有普通表的结构，但不实现数据存储；多表视图一般用于查询，不会改变基本表的数据。 1.2 作用操作被简化，把经常使用的数据定义为视图，使用方便。安全性高，用户对视图不可以随意的更改和删除，可以保证数据的安全性。逻辑上的独立性，屏蔽了真实表的结构带来的影响，视图可使应用程序和

spark-sql createOrReplaceTempView 和createGlobalTempView区别

斧王，不能再斩杀了吗的博客

09-03

6462

在讲解 createOrReplaceTempView 和createGlobalTempView的区别前，先了解下Spark Application 和 Spark Session区别关系明细一个Appliction可以包含多个SparkSession，但是一个Appliction只能有一个SparkContext，RDD是Spark计算的最小单元 Spark Application...

参与评论您还未登录，请先登录后发表或查看评论

[Spark-SQL 2.1] create view as select中NVL函数异常

qq_37771475的博客

12-20

1395

环境： Hive client (version 1.2.1) Spark version 2.1.1.2.6.1.0-129 现有一测试表datadev.t_student，字段如下 col_name data_type comment id string score int 此时，我们在Spark-SQL中执行以下命令，会报错。 create view datadev.t_student_view as select NVL(id, ..

Spark createTempView数据存哪了？

weixin_55953732的博客

11-17

1420

前言 createTempView运实习生很苦恼，为什么我使用了createTempView创建临时视图，每次查询的这个视图特别的耗时呢？这个数据难道没有存在内存而是本地？我问：你的视图缓存了吗？实习生：视图缓存？一般我只缓存DataFrame，比如如果要复用DataFrame我就会调用df.cache()方法，视图也要缓存？怎么缓存？ createTempView运作原理先说一个众人皆知的知识： Spark中的算子包含transformation算子和action算子，transformat

SparkSQL源代码：总体概述

九师兄

07-04

1151

1.spark sql概述

SparkSQL代码实例：UDF函数定义与使用

最新发布

AGI通用人工智能之禅

05-14

1. 背景介绍 1.1 大数据时代的挑战随着互联网和移动设备的普及，数据量呈爆炸式增长，传统的数据处理工具和方法已经难以满足需求。大数据技术的出现为解决这些挑战提供了新的思路和方法。 1.2 Spark SQL: 分布式SQL引

GeoMesa执行SparkSQL源代码分析

u012453032的博客

03-24

296

最近用GeoMesa 和PG执行空间函数做了下对比,和预期的差距好大,就简单看了一下里面的执行计划,先说下结论吧，单纯从SparkSQL执行效果上来看，SparkSQL在单表操作上还有点性能，如果通过JOIN两张表，不管的大表还是小表，性能都一般，一下说明下执行问题。 ...

SparkSQL 自定义函数：UDF与理解UDAF相关方法

小蜜蜂博客

04-19

376

目录前言：一：SparkSQL自定义函数的种类二：UDF实现三：UDAF实现四：查看运行结果：前言：类似于Hive 当中的自定义函数，SparkSql中同样也可以使用自定义函数来实现新功能。一：SparkSQL自定义函数的种类 SparkSql自定义函数与Hive中的自定义函数一样分为三类： 1、UDF(User-Defined-Function) ...

spark Global Temporary View

qq_25866555的博客

08-14

457

temporary views 是临时的，随着session的终止而消失如果想要一个temporary被所有的session分享，需要用到global temporary view global temprary view 属于一个系统的数据库 global_temp 实现例子： ``` // Register the DataFrame as a global temporary view df.createGlobalTempView("people") // Global temporary v

【问题分析】 - 关于SparkSession使用createOrReplaceTempView 和 createGlobalTempView 创建临时表的区别的分析

兀坐晴窗独饮茶

05-27

1万+

1.官方文档之前在练习一些例子的时候看到官方文档对这二者的定义是这样的 createOrReplaceTempView 的作用是创建一个临时的表 , 一旦创建这个表的会话关闭 , 这个表>也会立马消失其他的SparkSession 不能共享应已经创建的临时表 createGlobalTempView 创建一个全局的临时表 , 这个表的生命周期是整个Spark应用程序 , ...

SparkSQL视图

卡卡的博客

12-07

2351

Spark视图分类介绍及案例代码。拓展横向迭代计算的5种方法

Spark SQL 之 Temporary View

chenxu_0209的博客

02-16

3620

Spark SQL 之 Temporary View spark SQL的 temporary view 是支持原生SQL 的方式之一 spark SQL的 DataFrame 和 DataSet 均可以通过注册 temporary view 的方式来形成视图案例一：通过 DataFrame 的方式创建 val spark = SparkSession.builder().config(con...

Spark SQL-临时视图、创建临时表的3种各种方式

热门推荐

酒鬼の博客

08-09

1万+

spark-sql createOrReplaceTempView 和createGlobalTempView区别 Spark Application Spark Application 使用：针对单个批处理作业多个job通过session交互式不断满足请求的，长期存在的server 一个Spark job 可以包含多个map和reduce Spark Application 可以包含多个session实例 createOrReplaceTempView：创建临时视图，此视图的生命周期与用于创建.

pyspark 使用广播变量进行大表和小表join

Lu_Xiao_Yue的博客

08-18

1530

pyspark 大表和小表join,使用广播变量，并对广播变量更新 from pyspark import SparkConf, SparkContext, SQLContext # import org.apache.spark.sql.functions.broadcast # 给定节点，根据其信息进行扩展，找到各个层级扩展的节点。 # df_edges_all：全部的交易关系（边）[source,target,xxx,xx]，loop_nodes:[nodes]，loop_num ：循环次数, sq

SparkSQL 总结

机械工程跑路哥

09-08

1960

Spark SQL 是Spark 用于结构化数据(structured data)处理的 Spark 模块。

SparkSql中 createOrReplaceTempView 与createOrReplaceGlobalTempView的区别

xinji

02-28

2073

源码解读: /** * Creates a local temporary view using the given name. The lifetime of this * temporary view is tied to the [[SparkSession]] that was used to create this Dataset. * * @group basi...

初识Spark2.0之Spark SQL

weixin_30512043的博客

08-21

242

内存计算平台spark在今年6月份的时候正式发布了spark2.0，相比上一版本的spark1.6版本，在内存优化，数据组织，流计算等方面都做出了较大的改变，同时更加注重基于DataFrame数据组织的MLlib，更加注重机器学习整个过程的管道化。当然，作为使用者，特别是需要运用到线上的系统，大部分厂家还是会继续选择已经稳定的spark1.6版本，并且在spark2.0逐渐成熟之后才会开始考虑...

SparkSQL深度解析：与Cassandra结合的数据分析

在本教程中，我们将深入探讨SparkSQL的功能和它与Cassandra的结合使用。首先，SparkSQL简化了在Spark中执行SQL查询的过程，它兼容HiveQL，使得那些熟悉Hadoop生态系统的用户能无缝过渡到Spark。通过SparkSQL，用户...