Hive3.1.2源码阅读--图总结

已于 2022-03-26 16:50:01 修改
阅读量2k 收藏
点赞数
分类专栏： Hive 文章标签： java 开发语言 hive
于 2022-03-26 16:48:08 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Cxf2018/article/details/123758673
版权
  1. 关于hive源码解读整个流程是参考了名为寒暄的csdn了的，可以过去看一下他的博客https://blog.csdn.net/qq_41106844/article/details/108142374
  2. 以下图片是整个代码执行的流程图，可以在阅读完源码以后作为一个回顾
    在这里插入图片描述
hive-3.1.2.zip
05-07
apache-hive-3.1.2
Hive3.1.2编译源码
05-20
使用hive3.1.2和spark3.0.0配置hive on spark的时候，发现官方下载的hive3.1.2和spark3.0.0不兼容，hive3.1.2对应的版本是spark2.3.0，而spark3.0.0对应的hadoop版本是hadoop2.6或hadoop2.7。 所以，如果想要使用高...
windows10环境下编译hive3.1.2源码
最新发布
Azoner的博客
07-13 522
windows10的环境下编译hive3.1.2的源码 参考官方的开发指南（链接如上），只更新到hive2.x，尝试使用hive2.x的命令编译成功。
Hive3.1.2源码阅读--程序入口CliDriver
Cxf2018的博客
03-16 1958
根据前言可以看出，第一步是cli向Driver提交作业，因此我们需要找到代码中的CliDriver类，并搜索出里面的main方法，一切从main开始，如图所示 可以看到main方法中创建了一个CliDriver对象，然后调用了他的run方法 public static void main(String[] args) throws Exception { int ret = new CliDriver().run(args); System.exit(ret); } 我们先.
Hive3.1.2源码阅读--处理sql语句 processLine--＞processCmd--＞processLocalCmd
Cxf2018的博客
03-21 1358
由上文进入processLine方法中 1.1 该方法用于在特殊情况下可以中止作业的执行 1.2 定义了两种作业中止的方式 ① ctrl+c 当连续两次触发 Ctrl+c 作业中断 ② kill -2 1.3 HadoopJobExecHelper 这个类中保存了正在运行的hadoop job；通过其方法killRunningJobs杀死所有正在运行的任务 //processLine可以理解为作业上了一道保险，确保如果因为特殊情况需要中止作业的话有结束的方法。 public int processL.
hive源码阅读--CliDriver
Eunicema的博客
11-08 449
说明：根据自己捣鼓的做下记录，草稿，以后再修改 hive-1.2.1版本 根据查询调试阅读 在hive-cli的debug模式下输入use test; private int executeDriver(CliSessionState ss, HiveConf conf, OptionsProcessor oproc) throws Exception { Cli...
apache-hive-3.1.2-bin.tar.gz
06-24
标题中的"apache-hive-3.1.2-bin.tar.gz"表明这是一个Hive 3.1.2的二进制发行版，以tar.gz格式压缩。这种压缩包通常包含Hive的可执行文件、库文件、配置文件以及必要的脚本，用于在Linux或Unix环境中快速部署和运行...
apache-hive-3.1.2.bin.tar 资源 权威官网下载！
01-19
在下载的资源中，`apachehive3.1.2bin.tar.gz`是Apache Hive 3.1.2的二进制发行版，包含了运行Hive所需的全部文件。用户需要解压这个文件到本地系统，然后按照官方文档的指示进行配置和安装。`README.txt`通常会包含...
apache-hive-3.1.2-src.tar.gz
02-09
通过阅读和修改源代码，开发者可以定制 Hive 行为，比如实现新的 UDF（用户定义函数）、UDAF（用户定义聚合函数）或 UDTF（用户定义表生成函数）。 总的来说，`apache-hive-3.1.2-src.tar.gz` 提供了一个深入了解和...
hive事务源码阅读
weixin_42015465的博客
04-03 847
DbTxnManager.isTxnOpen() HiveTxnManagerImpl.acquireLocks(QueryPlan plan, Context ctx, String username, LockedDriverState lDrvState) DbTxnManager.acquireLocksWithHeartbeatDelay(QueryPlan plan, Context ...
apache-hive-3.1.2-bin.tar.gz.z01
11-28
由于上传文件限制，把文件拆为两个。这是第2个文件。两个文件下载到同一个目录，解压缩后文件名： apache-hive-3.1.2-bin.tar.gz.a 改为 apache-hive-3.1.2-bin.tar.gz apache-hive-3.1.2-bin.tar.gz.z01 2/2
hive源码分析
05-25
hive 源码分析
hive3.1.2编译.doc
08-24
hive对应spark3.x编译
Hive源码阅读--导读
寒暄的博客
08-21 2677
总述 Hive的执行流程大致分为两部分，即任务的提交与返回,命令的编译与执行。 前者在CliDriver类中流转，后者主要在Driver与ParseDriver类，核心编译在BaseSemanticAnalyzer和QueryPlan类中。 任务的提交与返回 调用顺序： main --(程序的开始)–> run --(任务的开始，读取用户传参与相关配置，初始化日志)–> executeDriver --(确保传入的语句是一条完整的SQL或命令)–> processLine --(
HIVE源码阅读（五）
prefect_start的博客
08-07 699
Hive源码分析
Hive3.1.2源码阅读--提交任务executeDriver
Cxf2018的博客
03-16 1609
由上文可知，客户端的驱动工作是在executeDriver中进行的 调用该方法时传入了三个参数： 1.1 ss hiveconf用户配置 1.2 conf hiveconf默认配置 1.3 oproc 用户环境配置 ctrl+左键进入该方法中 2.1 首先根据前面解析出来的参数，将对应的参数值封装到CliDriver对象中 2.2 如果是-e的执行方式，则直接执行后面的sql语句；如果是-h的执行方式，则执行对应的sql脚本文件 2.3 如果执行引擎是mapreduce的话，则输出一些告警信息（hive.
Hive源码阅读之路
进阶的成长之路
11-08 4553
Hive源码阅读（1）阅读环境搭建前言：让学习成为一种习惯环境准备Hive源码下载Hive源码目录hive三个最重要的组件：其他组件hive辅助组件编译源码配置Hive本地调试配置IDEA-DEBUG（注意端口和Host）开始Debug，配置成功图片一张，入口类选择了CLi，想看一下具体的源码执行流程 前言：让学习成为一种习惯 **前言：**工作已经两年多了，各种各样的大数据框架也使用过，各种官网也翻了很多，但是对于框架的底层源码从未细细的了解过，有一位大佬对我说如果你遇到瓶颈就去看看源码，看看别人的代码怎
解决兼容问题：Hive3.1.2源码编译指南
总结来说，编译Hive3.1.2源码，以解决与Spark3.0.0及Hadoop3.x的兼容问题，涉及到了对Hive源码进行适配性修改、升级依赖库版本，并确保编译环境和过程满足特定版本兼容性要求。这一过程需要对Hadoop生态系统中的组件...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值