hive sql ast

最新推荐文章于 2022-03-26 16:14:36 发布
最新推荐文章于 2022-03-26 16:14:36 发布
阅读量1k 收藏 1
点赞数
分类专栏： 技术 文章标签： java hive
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/nxcatman/article/details/77867454
版权 
- TOK_CREATETABLE

      - TOK_TABNAME
      
      - TOK_LIKETABLE
      
      - TOK_QUERY            <------------------------------------------------------<down
      
             -  TOK_FROM
      
                      - TOK_TABREF
      
                                - TOK_TABNAME
                      - TOK_JOIN
                            - =

                            - TOK_TABREF

                            - TOK_SUBQUERY

                                - TOK_UNIONALL


                      - TOK_SUBQUERY
                            - TOK_UNIONALL
      
                                  - TOK_QUERY    ----------------------------------->up
      
                                  - alias
      
                            - TOK_QUERY

                            - alias  
      
             -  TOK_INSERT
      
                      - TOK_DESTINATION
      
                      - TOK_INSERT_INTO
                                - TOK_TAB
                      - TOK_SELECT
      
                             - TOK_SELEXPR
      
                                      - TOK_ALLCOLREF
                                      - TOK_TABLE_OR_COL
                                            - colname
                      - TOK_WHERE
      
                      - TOK_GROUPBY
      
      - alias












especially:
	 - TOK_SUBQUERY
             - TOK_UNIONALL
		- TOK_QUERY 
	 	- TOK_UNIONALL
	
		-TOK_QUERY
             - alias   










 



























                

        

        

    




    

      

        

            

              
                
                  公冶mgj
                
              
            

            

                关注
              
            

        

        

          
    
            
  • 
              
                
                
                
                
                      0
                
              
              
    点赞
    
            
    • 
            
  • 
              
                
                
                
              
              
    踩
    
            
    • 
            
  • 
              
                
                
                
                
                    1
                
              
              
    
                
    
                  
                    收藏
                  
                
    
              
    
              
    
                
    
                  觉得还不错?
                  
                    一键收藏
                  
                 
                
    
              
    
            
    • 
          
  • 
            
    
              
              
            
    
              
              
              
                    0
              
            
            
    评论
    
          
    • 
          
  • 
          
    • 
          
  • 
            
              
            
              
    
            
              
                
            
    
          
    • 
        

      

      

            

                专栏目录
          










                



	

		

			

				
					
Hive SQL

				
			

			

				

					LaZY的博客
				

				

					08-20
					
					667
					
				

			

		

		

			
				
拼接函数(行转列):
collect_set():把多个值去重拼接成一个数组
collect_list():同上，不去重
concat_ws():用指定分隔符，把数组拼成一个字符串
–：concat_ws(分隔符，数组)
字符串拼接:
concat(v1,v2,v3)
分割函数（列转行）：
split(字符串，分隔符)：切割字符串
split(字符串，起始索引)：字符串部分截取
lateral v...

			
		

	



                

              
                



	

		

			

				
					
Hive union all报错

				
			

			

				

					yaoyaoxingkong的专栏
				

				

					08-20
					
					9186
					
				

			

		

		

			
				
Hive Union ALL报错：
下面仅仅是个例子。
SELECT * FROM phone_app_day a 
WHERE dt=20150815 and upper(a.app_name) = 'MUSIC'
UNION ALL
SELECT * FROM phone_app_day b 
WHERE dt=20150815 and upper(b.app_name)='WAL

			
		

	



                


  
              

                


	

		

			

				
					
Hive代码分析报告（四）： 语义分析①AST相关类解析

				
			

			

				

					weixin_45846560的博客
				

				

					10-20
					
					738
					
				

			

		

		

			
				
2021SC@SDUSC

目录

概述

AST相关类解析：ASTNode类

概述

前面的两篇文章，简要的把用户命令（HQL）如何进入编译器，走完语法分析、词法分析，生成抽象语法树AST的过程了解了一遍。这有助于从整体上把握编译流程的顺序，有助于更好的分析后续的功能框架。接下来，编译流程进入第二个主要阶段：语义分析阶段。

如果把HQL语句比作一句话，那么前面的语法分析、词法分析就是用来分析这句话包含了哪些词、有哪些关键词。而语义分析，顾名思义，就是要读懂这句话。

Hive如何读懂HQL这句话？我们

			
		

	





	

		

			

				
					
hive学习三

				
			

			

				

					weixin_38497087的博客
				

				

					04-25
					
					360
					
				

			

		

		

			
				
啊手动阀



			
		

	



		

			
		



	

		

			

				
					
Hive 源码解析二：AST

				
			

			

				

					小王是个弟弟
				

				

					03-17
					
					3721
					
				

			

		

		

			
				
解析 hive 如何将 sql 转换为抽象语法树

			
		

	





	

		

			

				
					
基于Hive解析AST的模仿sqlFlow无中间表的字段级数据血缘的后端

				
			

			

				

					mizuhokaga的博客
				

				

					11-30
					
					2221
					
				

			

		

		

			
				
0、前言
之前写了篇 基于jsPlumb.js的模仿sqlFlow数据血缘图的前端页面，是利用jsplumb.js模仿sqlflow的前端。
然后有些小伙伴想看后端代码，当时第一版代码写得太乱了，所以就没直接发。磨了1个月，虽然还有bug但是也算基本能跑了。

			
		

	





	

		

			

				
					
HiveSQL解析原理.docx

				
			

			

				

					12-25
				

			

		

		

			
				
### HiveSQL解析原理详解  #### 一、引言  Hive作为一款建立在Hadoop之上的数据仓库系统，被广泛应用于大数据处理场景中。对于众多企业和组织而言，它不仅是存储和管理海量数据的有效手段，同时也是进行数据分析的...

			
		

	





	

		

			

				
					
基于 Antlr4 的 Hive SQL 解析.zip

				
			

			

				

					04-29
				

			

		

		

			
				
4. **实现解析器**：利用Antlr4生成的解析器类，处理输入的Hive SQL语句，构建并遍历AST，以执行语句的逻辑。  5. **测试和优化**：编写测试用例，确保解析器能够正确处理各种复杂的Hive SQL查询，同时优化性能，...

			
		

	





	

		

			

				
					
antlr解析sql

				
			

			

				

					05-29
				

			

		

		

			
				
使用antlr规则引擎解析sql成对象.里面只有查询语句,但是也预留了update,delete,insert等语句的接口.可以非常方便的扩展

			
		

	





	

		

			

				
					
HiveSQL编译原理

				
			

			

				

					06-26
				

			

		

		

			
				
这个阶段的任务是根据预定义的语法规则（通常是一个上下文无关文法，如BNF表示法）检查Token序列是否符合HiveSQL的语法规则，并构造出一个抽象语法树（AST）。AST是对SQL语句结构的直观表示，每个节点都代表SQL语句...

			
		

	





	

		

			

				
					
hive3.1.0-antrl3.5.2-Hivegrammar源码.zip

					
最新发布

				
			

			

				

					08-23
				

			

		

		

			
				
HiveSql后续的编译过程全都基于AST Tree,所以我们想要完整理解hive sql的编译过程，需要前置了解一下antlr是怎么工作的。 HiveLexer.g：词法解析文件，定义了所有用到的token。 HiveParser.g：语法解析文件，实现了...

			
		

	





	

		

			

				
					
Hive3.1.2源码阅读--SQL的解析、编译、优化（二）

				
			

			

				

					Cxf2018的博客
				

				

					03-26
					
					2486
					
				

			

		

		

			
				
从前文中可以看到runInternal调用了compile方法，在compile方法我们可以看到执行了以下步骤：
1.1 首先通过ParseUtils.parse将sql解析为抽象的语法树ASTNode
1.2 然后通过sem.analyze(tree, ctx);对解析出来的抽象语法树进行编译和优化
我们先进入ParseUtils.parse中进行查看

 /** Parses the Hive query. */
  public static ASTNode parse(String command.

			
		

	





	

		

			

				
					
Hive ASTNodeOrigin 的用法

				
			

			

				

					houzhizhen的专栏
				

				

					02-09
					
					666
					
				

			

		

		

			
				
ASTNodeOrigin 包含关于生成特定 ASTNode 对象的上下文信息。
例如，我们定义视图 create view v as select x+1 as y from t，我们要处理查询 select v1.y from v as v1。如果在执行查询前，执行了 ALTER TABLE t 改变了 x 的类型，导致查询语句的类型检查错误。当出现错误时，我们希望提供关于 v 的定义语句中出错的位置，而不是上层查询的错误位置。
/**
 * ASTNodeOrigin contains context

			
		

	





	

		

			

				
					
hive ast

				
			

			

				

					
				

				

					10-18
					
					703
					
				

			

		

		

			
				
http://blog.csdn.net/zhifeidie/article/details/6919014
 
 
hive就是一个将sql语句转化为MR工具
hive的工作原理：
1、使用antlr定义sql语法，（详细见hive.g），由antlr工具将hive.g编译为两个java文件：HiveLexer.java    HiveParser.java，可以将输入的sql解析为a...

			
		

	





	

		

			

				
					
java sqlparse ast树,HiveSql解析(基于AST)

				
			

			

				

					weixin_36168780的博客
				

				

					03-20
					
					1249
					
				

			

		

		

			
				
1 importcom.google.common.base.Joiner;2 importcom.google.common.collect.Lists;3 importcom.google.common.collect.Maps;4 importlombok.extern.slf4j.Slf4j;5 importorg.apache.commons.collections.Collection...

			
		

	





	

		

			

				
					
Hive SQL的编译过程

				
			

			

				

					美团技术团队
				

				

					02-12
					
					2677
					
				

			

		

		

			
				
Hive是基于Hadoop的一个数据仓库系统，在各大公司都有广泛的应用。美团数据仓库也是基于Hive搭建，每天执行近万次的Hive ETL计算流程，负责每天数百GB的数据存储和分析。Hive的稳定性和性能对我们的数据分析非常关键。
在几次升级Hive的过程中，我们遇到了一些大大小小的问题。通过向社区的咨询和自己的努力，在解决这些问题的同时我们对Hive将SQL编译为MapReduc...

			
		

	





	

		

			

				
					
python lib 安装遇到报错clang: error: unknown argument: '-mno-fused-madd'

				
			

			

				

					
				

				

					08-07
					
					2623
					
				

			

		

		

			
				
python lib 安装遇到报错clang: error: unknown argument: ‘-mno-fused-madd’
  在安装python lib的时候，可以使用pip工具  
  pip安装lib有两种方式: 
  1.pip install pycrypto 
  2.pip install -r requirement.txt  (该txt类似于maven的pom文件)  p

			
		

	





	

		

			

				
					
Hive SQL优化：解读执行计划

				
			

			

				

					
				

			

		

		

			
				
"Hive与SQL优化的探讨集中在如何利用EXPLAIN命令分析和优化Hive SQL查询。通过理解执行计划，我们可以识别性能瓶颈并采取相应措施提高查询效率。本文将详细介绍不同类型的EXPLAIN选项以及它们在SQL优化中的作用。"  ...

			
		

	



              




          




        



    





    



      

      

        
      

      





	

		评论	
	

	
	




  

    

      添加红包
      
    

    

      

        
        

          
          
        

        
请填写红包祝福语或标题

      

      

        
        

          
          个
        

        
红包个数最小为10个

      

      

        
        

          
          元
        

        
红包金额最低5元

      

      

        
        

          当前余额3.43元
          前往充值 >
        

      

      

        

          需支付：10.00元
        

        
        
      

    

  





  

    
    
  

  

    
    
  








  

    

      

        

          

            
            
成就一亿技术人!

          

          

        

        

          

          

            领取后你会自动成为博主和红包主的粉丝
            规则
          

        

      

      

        

          

            
              
            
            

              
hope_wisdom
 发出的红包
            

          

        

        

          

          

          

        

      

    

    

  



      
      

      
实付元

      
使用余额支付

      

        

          

            
            点击重新获取
          

        

        
扫码支付

      

      

        
          
            
          
          
        
      

      

        
        钱包余额
          0
          

            
            

              

                
抵扣说明：

                
 1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
 2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

              

            

          

      

      余额充值