Java实现HiveSQL Parser

最新推荐文章于 2024-04-05 09:40:35 发布
最新推荐文章于 2024-04-05 09:40:35 发布
阅读量4.5k 收藏 4
点赞数
分类专栏： Java 大数据挖掘与大数据应用案例 文章标签： Java HQL SQL HQLParser
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u012965373/article/details/83750759
版权
大数据挖掘与大数据应用案例 同时被 2 个专栏收录
536 篇文章 1680 订阅 ¥9.90 ¥99.00
订阅专栏
Java
427 篇文章 33 订阅
订阅专栏
本文详细介绍了如何利用Java编程实现一个Hive SQL解析器，重点探讨了HQL语句的解析过程，包括从SQL字符串到抽象语法树AST的转换，并讨论了相关的关键技术和挑战。
摘要由CSDN通过智能技术生成 

import com.xxxx.model.SQLParserResult;
import org.apache.commons.logging.Log;
import org.apache.commons.logging.LogFactory;
import org.apache.hadoop.hive.ql.parse.*;
import java.util.*;

/**
 * @author yangxin-ryan
 * HiveParse工具类
 * 根据解析SQL语句，解析出其中的数据库名，表名，具体操作。
 * 处理：获取SELECT操作中的表和列的相关操作。其他操作这判断到表级别。
 * 实现思路：对AST深度优先遍历，遇到操作的token则判断当前的操作，
 * 遇到TOK_TAB或TOK_TABREF则判断出当前操作的表，遇到子句则压栈当前处理，处理子句。
 * 子句处理完，栈弹出。
 */
public class HiveParseUtil {
    private static Log LOG = LogFactory.getLog(HiveParseUtil.class);
    private static final String UNKNOWN = "UNKNOWN";
    private Map<String, String> tableAlias = new HashMap<>();
    private Map<String, String> cols &
了解本专栏 订阅专栏 解锁全文
杨鑫newlfe
关注
专栏目录
订阅专栏
【java】java使用JSqlParser如何解析、格式化、生成SQL
九师兄
08-01 175
JSqlParse的总体代码量不大，结构也很简单，其项目整体结构图如下：包含表达式相关的类和接口，可以简单看做sql解析后的组成对象之一。如果需要对sql进行一些更改变换，基本都会涉及到这个包。JSqlParse最核心的包，这个包里的类实现了sql的解析，进而我们才可以对解析后的sql(“java类”)做各种自定义处理。虽然这个包是最核心的包，但如果纯粹从使用角度上来说可以不必太在意它，除非我们想深入了解sql解析的过程。
hive parser工具类
02-07
hive sql 解析工具类,传入sql(支持多段sql,以";"隔开),返回map 获取表get("tables")获取sql语句 get("sqls")
hive中sql解析出对应表和字段的实现
weixin_30732487的博客
06-23 563
import java.io.IOException; import java.util.HashMap; import java.util.HashSet; import java.util.Map; import java.util.Set; import java.util.Stack; import java.util.TreeMap; import org.apac...
java sqlparse ast树,HiveSql解析(基于AST)
weixin_36168780的博客
03-20 1290
1 importcom.google.common.base.Joiner;2 importcom.google.common.collect.Lists;3 importcom.google.common.collect.Maps;4 importlombok.extern.slf4j.Slf4j;5 importorg.apache.commons.collections.Collection...
hive sql解析
08-15
hivesql解析 支持版本<!--1.0.0 2.4.1 --> 2.0.1 2.7.2
hive sql 语法解析，最新版的ali druid sqlParserUtils 1.2.8 已经支持了
stomfeng的专栏
02-24 4134
Hive sql （HQL）解析,已知的方法 有 jsqlparser - 失败了，不支持 hive 语法 hive-exec ，用 ParseDriver 和 ast token , 失败了，复杂语法不支持(奇怪，hive 服务器难道不是用的这个解析吗) 这里有一些 使用案例，人家用的好好的，可能是我们的姿势不对，待研究 优步 Uber 的queryparser，使用 haskell 语言开发，没有maven jar 包可用，算了，咱也不熟悉 gsp - general sql pa
Hive编译SQL语句
Aegeaner的专栏
12-02 933
org.apache.hadoop.hive.ql.Driver类 public int compile(String command, boolean resetTaskIds, boolean deferClose)方法 1. 语法分析。 ParseDriver pd = new ParseDriver(); ASTNode tree = pd.parse(command,
Hive学习笔记——parse
weixin_30672295的博客
09-15 539
Hive是如何解析SQL的呢,首先拿hive的建表语句来举例,比如下面的建表语句 create table test(id int,name string)row format delimited fields terminated by '\t'; 然后使用hive的show create table语句来查看创建的表结构，这是一张text表 CREATE TAB...
java获取hive元数据信息_Hive SQL 元数据血缘管理
weixin_31977649的博客
03-02 1296
模板概述基于 Antlr4 编译 hive 相关 xxx.g 文件生成对应的模板，如 hive 源码中：image.png编译完成生成对应 *.java 文件，Antlr4 详见：Antlr4解析流程Parserimage.png重点：获取SELECT操作中的表和列的相关操作。其他操作这判断到字段级别。实现思路：对AST深度优先遍历，遇到操作的token则判断当前的操作，遇到子句则压栈当前处理，处...
Java解析SQL生成语法树_04. Hive源码 — HQL解析(抽象语法树的生成和语义分析)
weixin_32519033的博客
02-25 1635
HQL的解析过程主要在Driver中的compile方法，这一些主要看这个方法中的代码。1. compile中的主要内容public int compile(String command, boolean resetTaskIds, boolean deferClose) {..........// 对sql语句进行处理(敏感信息、变量替换等)String queryStr = command;q...
java8源码-sqlParser:使用java和antlr4的sql解析器
06-04
java8 源码 sql parser 描述 1.基于 Java8，利用 Antlr4 实现对 sql 的解析并生成解析树 2.基于解析树生成执行计划 3.基于执行计划，对 Java 内存中数据进行操作，对用户透明，并实现部分 sql 执行 4.Java 内存数据为行式存储，数据均为 String 类型，使用时进行转换 运行环境 1.Java 8 2.Antlr4.9 功能 1.实现 where = xxx 的等值单条件筛选查询 2.支持嵌套子查询 3.实现 sum 聚合算子 方案设计 整体流程： Input(sql) --> Parser --> Execution --> Print 1.Input：即接收 input 的 sql 入参 2.Parser：接收 sql 后，经过 parser 解析生成语法树，并通过解析语法树，将关键的 sql 元素保存进入对象，形成执行计划 plan ；若包含嵌套查询则利用链表将父子 plan 关联 3.Execution：根据执行计划类型，选择不同的执行器 Execution，并对嵌套的父子查询进行拆解，根据 dfs 最底层的子查询需要优先执行，
【Hive进阶】-- Hive SQL、Spark SQL和 Hive on Spark SQL
欢迎来到我的博客，一起探索代码里的世界！
03-13 2945
Hive由Facebook开发，用于解决海量结构化日志的数据统计，于2008年贡献给 Apache 基金会。Hive是基于Hadoop的数据仓库工具，可以将结构化数据映射为一张表，提供类似SQL语句查询功能本质：将Hive SQL转化成MapReduce程序。Spark SQL主要用于结构型数据处理，它的前身为Shark，在Spark 1.3.0版本后才成长为正式版，可以彻底摆脱之前Shark必须依赖HIVE的局面。
JAVA解析sql表别名_hive中sql解析出对应表和字段的实现
weixin_31207903的博客
02-25 2223
import java.io.IOException;import java.util.HashMap;import java.util.HashSet;import java.util.Map;import java.util.Set;import java.util.Stack;import java.util.TreeMap;import org.apache.hadoop.hive.ql....
Hive源码解析之词法分析器parser
豹先生
09-26 3017
Hive源码解析系列–词法分析器parser 接着上次的Hive解析走，上次分享的 一直在忙hive sql优化，所以对sql语法解析关注的多一些，词法解析器+语法解析器。 这次说说基于hive源码说说的词法解析器，而对于分析重点还是正常SQL解析，而非ddl，set 等。 词法分析器 parser 在是一个简单的类图： ParserDriver是词法解析的开始， hive源码解
二百零九、Hive——with嵌套语句报错：hadoop.hive.ql.parse.SemanticException: Line 2:5 Ambiguous table alias ‘t2‘
tiantang2renjian的博客
12-01 1379
Hive——with嵌套语句报错：hadoop.hive.ql.parse.SemanticException: Line 2:5 Ambiguous table alias 't2'
HIVE数仓数据血缘分析工具-SQL解析
热门推荐
thomas0yang的专栏
10-27 4万+
一、数仓经常会碰到的几类问题： 1、两个数据报表进行对比，结果差异很大，需要人工核对分析指标的维度信息，比如从头分析数据指标从哪里来，处理条件是什么，最后才能分析出问题原因。 2、基础数据表因某种原因需要修改字段，需要评估其对数仓的影响，费时费力，然后在做方案。二、问题分析： 数据源长途跋涉，经过大量的处理和组件来传递，呈现在业务用户面前，对数据进行回溯其实很难。元数据回溯在有效决策、策略制定
探索HiveQL解析器： alan2lin的Hive_QL_Parser项目详解
最新发布
gitblog_00021的博客
04-05 367
探索HiveQL解析器： alan2lin的Hive_QL_Parser项目详解 项目地址:https://gitcode.com/alan2lin/hive_ql_parser 项目简介 Hive_QL_Parser 是一个由alan2lin开发的开源项目，它是一个强大的Hive查询语言（HiveQL）解析器，旨在帮助开发者和数据分析师更高效地理解和操作Hive SQL语句。通过这个项目，你可以...
【原创】大数据基础之Hive（2）Hive SQL执行过程之SQL解析过程
weixin_30416871的博客
12-27 321
Hive SQL解析过程 SQL->AST(Abstract Syntax Tree)->Task（MapRedTask，FetchTask）->QueryPlan（Task集合）->Job（Yarn） SQL解析会在两个地方进行： 一个是SQL执行前compile，具体在Driver.compile，为了创建QueryPlan； 一个是explain，...
提供一个hivesql解析器的实现代码
06-13
以下是一个基于 Java SQLParse AST 树和 HiveSql 语法规则实现的 HiveSql 解析器示例代码： ```java import java.util.List; import net.sf.jsqlparser.JSQLParserException; import net.sf.jsqlparser.parser.CCJSqlParserUtil; import net.sf.jsqlparser.statement.Statement; import net.sf.jsqlparser.statement.select.FromItem; import net.sf.jsqlparser.statement.select.Join; import net.sf.jsqlparser.statement.select.PlainSelect; import net.sf.jsqlparser.statement.select.Select; import net.sf.jsqlparser.statement.select.SelectBody; import net.sf.jsqlparser.statement.select.SelectItem; public class HiveSqlParser { public static void main(String[] args) throws JSQLParserException { String sql = "SELECT a.id, b.name FROM table1 a JOIN table2 b ON a.id = b.id WHERE a.age > 18"; Statement statement = CCJSqlParserUtil.parse(sql); if (statement instanceof Select) { Select select = (Select) statement; SelectBody selectBody = select.getSelectBody(); if (selectBody instanceof PlainSelect) { PlainSelect plainSelect = (PlainSelect) selectBody; // 处理 SELECT 子句 List<SelectItem> selectItems = plainSelect.getSelectItems(); for (SelectItem selectItem : selectItems) { System.out.println("select item: " + selectItem.toString()); } // 处理 FROM 子句 FromItem fromItem = plainSelect.getFromItem(); System.out.println("from item: " + fromItem.toString()); // 处理 JOIN 子句 List<Join> joins = plainSelect.getJoins(); for (Join join : joins) { System.out.println("join: " + join.toString()); } // 处理 WHERE 子句 if (plainSelect.getWhere() != null) { System.out.println("where: " + plainSelect.getWhere().toString()); } } } } } ``` 该示例代码使用 Java SQLParse AST 树解析 HiveSql 语句，并通过遍历 AST 树提取出 HiveSql 语句中的各种信息，如 SELECT 子句、FROM 子句、JOIN 子句和 WHERE 子句等。运行该示例代码，可以输出以下结果： ``` select item: a.id select item: b.name from item: table1 a join: JOIN table2 b ON a.id = b.id where: a.age > 18 ``` 该示例代码只是一个简单的示例，HiveSql 解析器的实现需要考虑更多的语法规则和语义规则，以实现更加完整和准确的解析功能。
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

杨鑫newlfe

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值