数仓工具—Hive源码之SQL解析Antlr进阶(8)

已于 2022-08-30 16:02:01 修改
阅读量4w 收藏
点赞数
分类专栏： Hive 实战 文章标签： hive sql 大数据 sql 解析 antlr
于 2022-08-30 11:38:40 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/king14bhhb/article/details/126600691
版权
本文详细介绍了如何使用Antlr进行SQL解析的进阶操作，包括在Idea中配置Antlr插件，通过Maven生成代码，以及处理抽象语法树(AST)的Visitor模式和Listener模式。通过实现CalculatorVisitor和CalculatorListener接口，成功构建了一个简单的计算器，展示了Antlr在SQL解析中的应用。
摘要由CSDN通过智能技术生成

文章目录

SQL解析之Antlr进阶

前面我们介绍了Antlr 的基本语法规则，并且演示了两个入门案例，但是我们上一节仅仅是定一个语法规则，但是如何生存代码，如何去把我们定义的语法规则解析到另外一种语言呢，这一节我们看一下。

idea 环境配置

我们这里演示生java 代码，并且我们使用的是idea作为开发工具

插件 Antlr v4

我们在idea 里面直接搜索这个插件，然后安装即可

image-20220826220927880

这个插件我们主要用来进行规则文件的开发，因为它提供了一个可视化的功能，帮我们快速确定我们的规则是否正确。虽然它也可以进行代码生成

image-20220827125654183

但是生成后的文件在项目的根目录下，所以我们这里使用maven 的插件进行代码生成

了解本专栏 订阅专栏 解锁全文 超级会员免费看
不二人生
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
订阅专栏
数仓工具—Hive源码之SQL解析Antlr入门(7)
08-27 4万+
ANTLR 是 ANother Tool for Language Recognition的首字母，是一个语言类工具，主要充当翻译器、编译器、识别器、或者是分析器这样的一个角色，也就是将一些列规则翻译成特定语言代码(Java, C/C++, C#, Python, Ruby)的一个工具。说直白点就是定义语法规则文件—>生成特定语言解析规则文件的代码—>被特定的语言所识别，想想我们的Hive-Sql 是不是就是这样的，不然SQL怎么转化成MR程序。Antlr (ANother Tool for Langua
SQL 语句解析：Hive 通过 ANTLR 生成语法树，解析 SQL 语句。
程序员光剑
09-10 1860
作者：禅与计算机程序设计艺术 1.简介 Hive 是基于 Hadoop 的一个开源数据仓库系统，其存储数据采取了 HDFS (Hadoop 文件系统)作为底层文件存储。由于 Hive ql 中定义的查询语言 SQL 在运行时需要将 SQL 转换为 MapReduce 操作并执行，因此性能上存在一些限制，
hive sql解析
08-15
hivesql解析 支持版本<!--1.0.0 2.4.1 --> 2.0.1 2.7.2
HiveSqlBloodFigure:hive血缘关系解析工具
04-18
HiveSqlBloodFigure 如果你喜欢这个项目，那就点击一下右上方的【Star】以及【Fork】，支持一下我，让我有动力持续更新！ 项目介绍 在数据仓库建设中，经常会使用到数据血缘追中方面的功能，本项目实现了对hql集合进行静态分析，获取hql对应的血缘图（表血缘 + 字段血缘） 项目升级内容 删除hive-exec与hadoop-common的maven依赖，使得项目更加的轻量级。 重构项目代码，优化解析，修复无字段血缘时，不能获取表血缘的BUG。 规范化接口输入输出，血缘图均为自定义实体，方便进行JSON序列化。 新增接口层，方便Spring的注入，同时也提供静态方式调用。 下个版本升级内容 引入JDBC获取元数据信息，使血缘图更加丰富，同时可以解决Sql中有select * 的问题。 测试用例 请关注test下的HiveBloodEngineTest与HiveSqlBloo
SQL、Hive SQL等SQL血缘解析工具
01-14
// 测试用例如下 // 设置元数据服务 Delegate.getDelegate().setMetaColumnService(new IMetaColumnService() { @Override public List<String> queryMetaColumn(String dbName, String tableName) { return Collections.emptyList(); } @Override public boolean clearMetaColumnCache() { return true; } }); // 设置通知服务 Delegate.getDelegate().setNoticeService(s->{}); // 具有子查询的sql String hql = "select id,name from (select id from table_1 where id={p0}) t1 inner join (select name --this is name\n from table_2) t2"; // 获取id字段的血缘 LineageNode idNode = Delegate.getDelegate().getLineage(hql, "id"); // 获取name字段的血缘 LineageNode nameNode = Delegate.getDelegate().getLineage(hql, "name"); // 打印血缘 Utils.printLineage(idNode,nameNode);
ANTLR SQL解析器代码
weixin_33696106的博客
05-23 344
博客里有一篇文章ANTLR实现的SQL解析器 - OQL，大概描述了一下用antlr实现的一个简单的sql解析器 有不少人对antlr感兴趣，希望提供这个项目的源代码作为参考，一直没有放出来，原因有以下几个方面： 1. antlr版本问题。开发时使用的antlr版本不久之后就更新了，与之前的老版本（包括项目中使用的）不兼容，项目中的语法文件已经无法在目前的antlr版本下使用这次上传的项目中包...
数仓工具—Hive源码之SQL解析AntlrWorks的使用(10)
09-30 4万+
AntlrWorks 就是Antlr的一个idea ，提供了开发(editor)，测试(interpreter)，调试(debugger)，以及代码生成的功能，其中调试是idea 的Antlr插件不具备的。到今天我们的工具就介绍完了，后面我们就可以专心的学习Antlr以及SQL解析了。
数仓工具—Hive源码之SQL 解析(6)
08-24 4万+
从上述整个SQL编译的过程，可以看出编译过程的设计有几个优点值得学习和借鉴使用Antlr开源软件定义语法规则，大大简化了词法和语法的编译解析过程，仅仅需要维护一份语法文件即可。整体思路很清晰，分阶段的设计使整个编译过程代码容易维护，使得后续各种优化器方便的以可插拔的方式开关，譬如Hive 0.13最新的特性Vectorization和对Tez引擎的支持都是可插拔的。每个Operator只完成单一的功能，简化了整个MapReduce程序。
Hive SQL源码解析
mm_ren的博客
08-28 589
Hive执行SQL的主要流程流程词法、语法解析: Antlr定义SQL的语法规则，完成SQL词法，语法解析，将SQL转化为抽象语法树AST Tree语义解析: 遍历AST Tree，抽象出...
基于 Antlr4 的 Hive SQL 解析.zip
04-29
基于 Antlr4 的 Hive SQL 解析.zip 大学生课程设计 课程设计 自己大二写的课程设计
Hive中SQL详解
07-17
Hive中SQL详解
antlr解析sql
05-29
使用antlr规则引擎解析sql成对象.里面只有查询语句,但是也预留了update,delete,insert等语句的接口.可以非常方便的扩展
hive parser工具类
02-07
hive sql 解析工具类,传入sql(支持多段sql,以";"隔开),返回map 获取表get("tables")获取sql语句 get("sqls")
SQL语句测试工具
09-29
SQL语句测试工具
[工具类] Hive SQL
weixin_33825683的博客
11-24 133
package com.claw.util.hive; import java.io.BufferedReader; import java.io.InputStreamReader; import java.util.ArrayList; import java.util.List; public class Hql { public static S...
HIVE数仓数据血缘分析工具-SQL解析
热门推荐
thomas0yang的专栏
10-27 4万+
一、数仓经常会碰到的几类问题： 1、两个数据报表进行对比，结果差异很大，需要人工核对分析指标的维度信息，比如从头分析数据指标从哪里来，处理条件是什么，最后才能分析出问题原因。 2、基础数据表因某种原因需要修改字段，需要评估其对数仓的影响，费时费力，然后在做方案。二、问题分析： 数据源长途跋涉，经过大量的处理和组件来传递，呈现在业务用户面前，对数据进行回溯其实很难。元数据回溯在有效决策、策略制定
hive代码分析之--antlr和SQL解析
sxf_824的博客
07-12 245
HIVE的sql解析通过鼎鼎大名的ANTLR完成,具体细节可以在http://www.antlr.org/详细了解，这里只整理一些自己的小心得。 1.       终结符首字母大写，非终结符首字母小写 2.       Antlr的LL文法不支持左递归，需要消除文法中的左递归。 3.       代码优先级采用highOpExpr: lowOpExpr op lowOpExpr的
Hive3.1.2源码阅读--SQL的解析、编译、优化（二）
Cxf2018的博客
03-26 2505
从前文中可以看到runInternal调用了compile方法，在compile方法我们可以看到执行了以下步骤： 1.1 首先通过ParseUtils.parse将sql解析为抽象的语法树ASTNode 1.2 然后通过sem.analyze(tree, ctx);对解析出来的抽象语法树进行编译和优化 我们先进入ParseUtils.parse中进行查看 /** Parses the Hive query. */ public static ASTNode parse(String command.
hive sql血缘关系解析与应用antlr4
最新发布
01-28
Hive SQL血缘关系解析是指通过分析Hive SQL语句，确定数据表与数据字段之间的依赖关系，从而确定查询结果与数据源之间的关系。而应用ANTLR4则是一种用于解析语法并生成解析树的工具，它可以帮助我们构建Hive SQL血缘关系解析的工具。 在Hive SQL血缘关系解析中，我们可以利用ANTLR4来构建语法规则，识别SQL语句中的表和字段，并将其关联起来形成解析树。通过分析解析树，我们可以确定查询语句中使用了哪些表和字段，以及它们之间的依赖关系，从而构建出数据的血缘关系。这个血缘关系可以帮助我们理解数据之间的关系，在数据处理和优化查询等方面提供帮助。 同时，利用ANTLR4可以将Hive SQL血缘关系解析的过程自动化，提高解析的准确性和效率。通过ANTLR4生成的解析树，可以方便地对SQL进行语法分析，并将其转换为相关的数据血缘关系。这样的工具可以帮助开发人员更好地理解数据的关系，并在数据处理过程中提供更精确的信息和指导。 总之，利用ANTLR4来构建Hive SQL血缘关系解析的工具，可以帮助我们更好地理解数据之间的关系，提高数据处理的效率和准确性。同时，这样的工具对于开发人员来说也是十分方便和实用的。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

不二人生

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值