SPARKSQL3.0-Analyzer阶段源码剖析

已于 2023-04-20 12:12:21 修改
阅读量1k 收藏 1
点赞数 3
分类专栏： Spark3.0-SQL内核源码剖析 文章标签： spark 大数据 数据库 sparksql
于 2022-11-21 18:58:46 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_35128600/article/details/127970299
版权
本文详细剖析了SPARKSQL3.0的Analyzer阶段，讲解了如何使用规则（Rule）和Catalog信息对未解析的Logical Plan进行补充和替换，形成包含元数据信息的语法树。Analyzer阶段涉及Catalog的管理、QueryExecution的工作流以及RuleExecutor的执行策略，特别是ResolveRelations规则在解析过程中的作用。
摘要由CSDN通过智能技术生成

一、前言

在上一节【SPARKSQL3.0-Unresolved[Parsed]阶段源码剖析】中已经介绍了Unresolved Logical Plan未解析阶段，建议先看完上一篇文章后再来看本文

由于Unresolved LogicalPlan阶段生成的logicalPlan仅仅是一种数据结构，不包含任何数据信息。故在分析器（Analyzer） 阶段会使用事先定义好的规则（Rule）以及 Catalog 等信息对未解析的逻辑计划（Unresolved Logical Plan） 进行补充和替换【logicalPlan】中的各个节点，让新的语法树包含元数据信息

Catalog 主要用于各种函数资源信息和元数据信息（数据库、数据表、数据视图、数据分区与函数等）的统一管理。
想深入了解Catalog可以看我的另一篇：SPARKSQL3.0-Catalog源码剖析

二、示例：


                

                
                
        

        

        

    

  


        

            

                

                

                了解本专栏
                
                
                  
                订阅专栏 解锁全文
                 
                
                    
                    超级会员免费看
                
            

            
            
            
        

    

      

        

            

              
                
                  高  亮
                
              
            

            

                关注
              
            

        

        

          
      

      

            

                专栏目录
          

                

                        订阅专栏
                









                



	

		

			

				
					
SPARKSQL3.0-源码剖析全流程导读

				
			

			

				

					探索大数据世界 - 深入解析数据存储、分布式计算与人工智能
				

				

					11-22
					
					1285
					
				

			

		

		

			
				
SPARKSQL3.0-源码剖析全流程导读

			
		

	



                

              
                



	

		

			

				
					
[Spark SQL] 源码解析之Analyzer

				
			

			

				

					UFO的博客
				

				

					05-30
					
					778
					
				

			

		

		

			
				
前言

由前面博客我们知道了SparkSql整个解析流程如下：


sqlText 经过 SqlParser 解析成 Unresolved LogicalPlan;
analyzer 模块结合catalog进行绑定,生成 resolved LogicalPlan;
optimizer 模块对 resolved LogicalPlan 进行优化,生成 optimized LogicalPlan;
S...

			
		

	



                


  
              

                


	

		

			

				
					
Spark SQL Catalyst源代码分析之Analyzer

				
			

			

				

					weixin_34233856的博客
				

				

					06-07
					
					181
					
				

			

		

		

			
				

    /** Spark SQL源代码分析系列文章*/    前面几篇文章解说了Spark SQL的核心运行流程和Spark SQL的Catalyst框架的Sql Parser是如何接受用户输入sql，经过解析生成Unresolved Logical Plan的。我们记得Spark SQL的运行流程中还有一个核心的组件式Analyzer，本文将会介绍Analyzer在Spark SQL里起到...

			
		

	





	

		

			

				
					
SparkSQL源码解析  Analyzer

				
			

			

				

					qq_41775852的博客
				

				

					03-28
					
					630
					
				

			

		

		

			
				
文章目录Unresolved LogicalPlanRule示例RuleExecutorAnalyzer
Unresolved LogicalPlan
经过 AstBuilder 的处理，可以将实例SQL所对应的抽象语法树解析为逻辑算子树 Unresolved LogicalPlan。逻辑算子树中未被解析的有 UnresolvedRelation 和 UnresolvedAttribute 两种对...

			
		

	



		

			
		



	

		

			

				
					
Spark源码分析之SparkSql的Analyzer，Optimizer

				
			

			

				

					yzgyjyw的博客
				

				

					09-20
					
					2769
					
				

			

		

		

			
				
在上一篇博文中，我们深入的了解了SparkSql中的sql语句经过DDLParser、SparkSQLParser和SqlParser处理后得到了一个树结构的Unresolved Logical Plan，这也是我们每一次使用sparkSql时必然会执行的，但是对于一些不是立刻需要返回结果的造作，执行到这边也就结束了，只有遇到哪些诸如show，collect等需要立刻的返回结果的操作，我们才会继续后

			
		

	





	

		

			

				
					
SparkSQLCatalyst源码分析之Analyzer

				
			

			

				

					03-03
				

			

		

		

			
				
前面几篇文章讲解了SparkSQL的核心执行流程和SparkSQL的Catalyst框架的SqlParser是怎样接受用户输入sql，经过解析生成UnresolvedLogicalPlan的。我们记得SparkSQL的执行流程中另一个核心的组件式Analyzer，本文将会介绍Analyzer在SparkSQL里起到了什么作用。Analyzer位于Catalyst的analysispackage下，主要职责是将SqlParser未能Resolved的LogicalPlan给Resolved掉。Analyzer会使用Catalog和FunctionRegistry将UnresolvedAttrib

			
		

	





	

		

			

				
					
SPARKSQL3.0-PhysicalPlan物理阶段源码剖析

				
			

			

				

					探索大数据世界 - 深入解析数据存储、分布式计算与人工智能
				

				

					11-22
					
					950
					
				

			

		

		

			
				
SPARKSQL3.0-PhysicalPlan物理阶段源码剖析

			
		

	





	

		

			

				
					
SPARKSQL3.0-Optimizer阶段源码剖析

				
			

			

				

					探索大数据世界 - 深入解析数据存储、分布式计算与人工智能
				

				

					11-22
					
					1012
					
				

			

		

		

			
				
SPARKSQL3.0-Optimizer阶段源码剖析

			
		

	





	

		

			

				
					
SPARKSQL3.0-Catalog源码剖析

				
			

			

				

					探索大数据世界 - 深入解析数据存储、分布式计算与人工智能
				

				

					11-22
					
					1301
					
				

			

		

		

			
				
SPARKSQL3.0-Catalog源码剖析

			
		

	





	

		

			

				
					
SysTools SQL Log Analyzer v6.rar

				
			

			

				

					04-11
				

			

		

		

			
				
SQL日志分析工具，可看见每张表的SQL操作语句。本人亲测可用！

			
		

	





	

		

			

				
					
spark sql 2.3 源码解读 -  Analyzer (3.2)

				
			

			

				

					Just a Benginner
				

				

					08-13
					
					822
					
				

			

		

		

			
				
根据上一节所讲，Analyzer最关键的代码便是rule的实现了。

先整体看一下rule的集合：

lazy val batches: Seq[Batch] = Seq(
  Batch("Hints", fixedPoint,
    new ResolveHints.ResolveBroadcastHints(conf),
    ResolveHints.RemoveAllHints),
...

			
		

	





	

		

			

				
					
【Lucene3.0 初窥】文本分析器Analyzer

				
			

			

				

					ccnunlp的专栏
				

				

					04-06
					
					169
					
				

			

		

		

			
				
一个优秀的IR system要做好的第一件事就是利用自然语言处理技术(NLP)对文本进行分析。其中分词是最基本的，其性能直接决定IR system的搜索精度和速度。因此，大型Web搜索引擎都有自己的分词工具。


 
Lucene3.0 的分析器由三个包组成：

(1) 
org.apache.lucene.analysis 是Lucene分析器的基本结构包。包含了分析器最底层的结构...

			
		

	





	

		

			

				
					
Catalyst揭秘 Day4 analyzer解析

				
			

			

				

					weixin_34117522的博客
				

				

					07-23
					
					127
					
				

			

		

		

			
				
Catalyst揭秘 Day4
analyzer解析
今天继续解析catalyst，主要讲一下analyzer，在sql语句的处理流程中，analyzer是在sqlparse的基础上，把unresolved logical plan生成logcal plan。
Analyzer定义
在analyzer构造的时候，会传入catalog和functionRegistry，其中catelog用来存放用户...

			
		

	





	

		

			

				
					
第48课：Spark中的新解析引擎Catalyst源码Analyzer彻底详解

				
			

			

				

					段智华的博客
				

				

					07-23
					
					652
					
				

			

		

		

			
				
第48课：Spark中的新解析引擎Catalyst源码Analyzer彻底详解
1 Analyzer的基本工作机制
2 Analyzer源码彻底详解

			
		

	





	

		

			

				
					
Spark SQL Catalyst源码分析之Analyzer

					
热门推荐

				
			

			

				

					OopsOutOfMemory盛利的博客
				

				

					07-22
					
					1万+
					
				

			

		

		

			
				
本文详细介绍了Spark SQL的Catalyst里，Analyzer是如何Sql parser的解析的UnResolved逻辑计划，进行resolve的。

			
		

	





	

		

			

				
					
Spark SQL源码解析（三）Analysis阶段分析

				
			

			

				

					zzzzMing -大数据/数据分析/数据挖掘
				

				

					04-28
					
					512
					
				

			

		

		

			
				
Spark SQL原理解析前言：
Spark SQL源码剖析（一）SQL解析框架Catalyst流程概述
Spark SQL源码解析（二）Antlr4解析Sql并生成树
Analysis阶段概述
首先，这里需要引入一个新概念，前面介绍SQL parse阶段，会使用antlr4，将一条SQL语句解析成语法树，然后使用antlr4的访问者模式遍历生成语法树，也就是Logical Plan。但其实，SQ...

			
		

	





	

		

			

				
					
Spark SQL 工作流程源码解析（三）analysis 阶段（基于 Spark 3.3.0）

				
			

			

				

					Shockang的博客
				

				

					02-24
					
					5296
					
				

			

		

		

			
				
前言
本文隶属于专栏《大数据技术体系》，该专栏为笔者原创，引用请注明来源，不足和错误之处请在评论区帮忙指出，谢谢！

本专栏目录结构和参考文献请见大数据技术体系


目录
Spark SQL 工作流程源码解析（一）总览（基于 Spark 3.3.0）
Spark SQL 工作流程源码解析（二）parsing 阶段（基于 Spark 3.3.0）
Spark SQL 工作流程源码解析（三）analysis 阶段（基于 Spark 3.3.0）
Spark SQL 工作流程源码解析（四）optimization

			
		

	





	

		

			

				
					
spark sql（三）逻辑计划解析(analyzer)

					
最新发布

				
			

			

				

					Interest1_wyt的博客
				

				

					03-04
					
					908
					
				

			

		

		

			
				
简单探究spark sql中analyzer解析库表的源码

			
		

	



              




          




        



    





    



      

      

        
      

      





	

		
评论 4

	

	
	




  

    

      添加红包
      
    

    

      

        
        

          
          
        

        
请填写红包祝福语或标题

      

      

        
        

          
          个
        

        
红包个数最小为10个

      

      

        
        

          
          元
        

        
红包金额最低5元

      

      

        
        

          当前余额3.43元
          前往充值 >
        

      

      

        

          需支付：10.00元
        

        
        
      

    

  





  

    
    
  

  

    
    
  








  

    

      

        

          

            
            
成就一亿技术人!

          

          

        

        

          

          

            领取后你会自动成为博主和红包主的粉丝
            规则
          

        

      

      

        

          

            
              
            
            

              
hope_wisdom
 发出的红包
            

          

        

        

          

          

          

        

      

    

    

  





	
打赏作者

	

		

		
			
		
		

		

			
高  亮

			
你的鼓励将是我创作的最大动力

		

	

	

			

	

	

    ¥1
    ¥2
    ¥4
    ¥6
    ¥10
    ¥20
	

	

		

			

				

					扫码支付：¥1
				

				

					

					
					获取中
					

				

				

					
					
					扫码支付
				

			

		

		

			
您的余额不足，请更换扫码支付或充值

			
打赏作者

		

	



      
      

      
实付元

      
使用余额支付

      

        

          

            
            点击重新获取
          

        

        
扫码支付

      

      

        
          
            
          
          
        
      

      

        
        钱包余额
          0
          

            
            

              

                
抵扣说明：

                
 1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
 2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

              

            

          

      

      余额充值