![](https://img-blog.csdnimg.cn/20201014180756923.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hive源码阅读
文章平均质量分 83
小萝卜算子
这个作者很懒,什么都没留下…
展开
-
数仓字段血缘解析实现—hive版
字段血缘关系的一种实现方式原创 2023-02-27 10:11:50 · 1322 阅读 · 0 评论 -
从一个sql引发的hive谓词下推的全面复盘及源码分析(下)
网上有太多写hive谓词下推的文章,但因为版本问题,不够全面,也不够准确了。影响谓词下推的不仅仅有PPD优化器,还有CBO。该文章【上篇】主要介绍谓词下推的规则及结论,【下篇】从源码层面跟踪hive是怎么做的优化原创 2023-02-26 12:16:52 · 295 阅读 · 0 评论 -
从一个sql引发的hive谓词下推的全面复盘及源码分析(上)
网上有太多写hive谓词下推的文章,但因为版本问题,不够全面,也不够准确了。影响谓词下推的不仅仅有PPD优化器,还有CBO。该文章【上篇】主要介绍谓词下推的规则及结论,【下篇】从源码层面跟踪hive是怎么做的优化原创 2023-02-26 11:03:40 · 241 阅读 · 0 评论 -
Hive源码系列(十)编译模块之语义解析 数据准备
先准备数据以及确定sql,熟悉该sql对应的ASTTree。原创 2023-02-25 18:56:37 · 110 阅读 · 0 评论 -
Hive源码系列(九)编译模块之语义解析 整体分析
要坚持不懈的撸源码,让撸源码成为一种习惯,即使撸源码的计划被打乱,然后我们依旧饱含热情的去制定新的撸源码计划 ...原创 2023-02-25 16:42:20 · 260 阅读 · 0 评论 -
Hive源码系列(八)编译模块之词法、语法解析 (下)
这篇主要介绍hive词法、语法解析的源码 以及hive AstTree原创 2023-02-25 09:32:54 · 131 阅读 · 0 评论 -
Hive源码系列(七)编译模块之词法、语法解析 (中)
这篇主要举实际案例说明怎么使用antlr工具、利用antlr生成的Lexer、Parser、TreeParser代码,获取asttree。这些都是hive获取asttree的过程,理解了这些,再理解hive的asttree就很容易了原创 2023-02-24 17:55:58 · 144 阅读 · 0 评论 -
Hive源码系列(六)编译模块之词法、语法解析 (上)
词法语法解析模块会先介绍一下antlr环境(上)。然后举案例说明怎么利用antlr生成的Lexer、Parser、TreeParser代码获取asttree(中)。 最后详细介绍hive词法语法解析源码、玩转hive asttree(下)原创 2023-02-24 17:34:53 · 94 阅读 · 0 评论 -
Hive源码系列(五)编译模块之整体介绍
这次主要对Hive编译模块做整体介绍,后面会针对流程中的每一步做详细分析原创 2023-02-24 16:43:10 · 176 阅读 · 0 评论 -
Hive源码系列(四)hive2.1.1源码包介绍及调试
这次主要对hive源码包及hive的两种调试方式做了介绍,这篇结束后,整个源码调试环境的搭建已经完成。原创 2023-02-24 15:19:34 · 242 阅读 · 0 评论 -
Hive源码系列(三)hive2.1.1源码导入eclipse并做初步运行
这一篇主要写将hive源码导入eclipse以及运行入口类CliDriver.java。在导入及运行的过程会遇到各种各样的问题,本文写了自己遇到的问题及解决方案。把项目跑起来非常重要,这些都是我们后面分析调试hive编译模块源码的基础。原创 2023-02-23 15:43:07 · 165 阅读 · 0 评论 -
Hive源码系列(二)hive2.1.1源码编译并编译成eclipse项目
我在调试hive源码时,主要使用eclipse,所以最终要把hive源码编译成eclipse项目,方便导入eclipse进行调试。后面会考虑录hive源码系列的同步视频,喜欢的同学多多关注原创 2023-02-23 15:24:54 · 174 阅读 · 0 评论 -
Hive源码系列(一)hive2.1.1+hadoop2.7.3环境搭建
这是一篇工具类的文章,要分析调试hive源码,必须搭建一套hive的运行环境。还记得第一次搭建hive源码调试环境,用了一个月的时间,才完全跑通整个调试过程。中间遇到各种各样莫名奇妙的问题,也有好多次想放弃,幸好坚持了下来。原创 2023-02-21 15:49:54 · 547 阅读 · 0 评论 -
Hive Bug系列之关联结果不正确详解
Hive是互联数据仓库中使用最频繁的工具,做为仓库的技术人员,有很大必要去深入了解它,并以认真的态度去对待工作中遇到的每个问题,每个知识点,由点及面,让我们的技术更扎实,也让我们更有底气!原创 2023-02-20 21:47:45 · 846 阅读 · 1 评论 -
sparksql比hivesql优化的点(窗口函数)
hivesql与sparksql窗口函数,在分区和排序完全相同的情况下, 可以复用,但是分区相同, 排序不同的时候,sparksql是可以复用,hivesql则优化的差点原创 2023-02-09 17:55:26 · 454 阅读 · 0 评论 -
with as 语句真的会把查询的数据存内存嘛?
面对网上的一些结论,我们要有自己的判断。从源码中找真相~~原创 2023-02-13 14:50:59 · 162 阅读 · 0 评论