数仓工具—Hive源码之CliDriver(3)

最新推荐文章于 2024-07-14 10:38:08 发布
最新推荐文章于 2024-07-14 10:38:08 发布
阅读量6w 收藏
点赞数 1
分类专栏： Hive 实战 文章标签： 大数据 hive
版权声明：本文为博主原创文章，遵循 CC 4.0 BY 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/king14bhhb/article/details/118417214
版权
本文详细探讨了Hive的CliDriver，从main入口到executeDriver、processLine和processCmd方法，阐述了其如何处理命令行输入，包括SQL命令、shell命令和source命令。同时介绍了CliSessionState对象在过程中的作用。CliDriver作为命令行执行SQL的入口，通过CommandProcessor执行不同类型的命令。
摘要由CSDN通过智能技术生成

CliDriver

上一节我们介绍了cli ，这一节我们就看一下这个cli 对应的Java 代码CliDriver整体的代码结构如下

image-20210702104939254

main 入口

  public static void main(String[] args) throws Exception {
   
    int
了解本专栏 订阅专栏 解锁全文 超级会员免费看
不二人生
关注
  • 1
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
订阅专栏
数仓工具—Hive源码之cli 模块(2)
07-02 6万+
hive 源码 cli 模块 关于hive 的cli 模块其实是我们日常工作中使用最多的模块了，主要包括两部分 Hive 这是hive 提供的老版本的命令行交互工具了 beeline 这是hive 新提供的交互式工具了 CLI 模块的启动流程 我们有必要简单介绍一下这一个模块，因为我们知道当我们在命令行里敲入一个hive 命令之后，然后回车，我们就可以进行和hive 交互了，而且我们知道这个过程会同时启动一个进程，就是上面我们我们截图的部分，这里我们看一下这个命令到底是怎么玩的，需要注意的实hive
hive源码阅读--CliDriver
Eunicema的博客
11-08 433
说明：根据自己捣鼓的做下记录，草稿，以后再修改 hive-1.2.1版本 根据查询调试阅读 在hive-cli的debug模式下输入use test; private int executeDriver(CliSessionState ss, HiveConf conf, OptionsProcessor oproc) throws Exception { Cli...
Hive3.1.2源码阅读--程序入口CliDriver
Cxf2018的博客
03-16 1934
根据前言可以看出，第一步是cli向Driver提交作业，因此我们需要找到代码中的CliDriver类，并搜索出里面的main方法，一切从main开始，如图所示 可以看到main方法中创建了一个CliDriver对象，然后调用了他的run方法 public static void main(String[] args) throws Exception { int ret = new CliDriver().run(args); System.exit(ret); } 我们先.
Hive源码阅读--作业的入口--CliDriver
寒暄的博客
08-20 2254
hive执行流程 整个流程的第一步，就是cli提交作业给driver，这一步需要通过org.apache.hadoop.hive.cli.CliDriver类。 CliDriver类 首先看CliDriver类的main方法。 org.apache.hadoop.hive.cli.CliDriver ---------- /** * 输入参数String[] args不需要分析，是外部命令传进来的参数 */ public static void main(String[] args) t
详解Hive-CliDriver——细读Hive源码（二）
wotkk的博客
07-06 1775
读程序就要从main函数读起，从而了解程序的流程。所以我首先从CliDriver这个类开始。一 ，主函数 public static void main(String[] args) throws Exception { int ret = new CliDriver().run(args); System.exit(ret); } String[] args 是运行的时候由外
数仓工具—Hive源码之SQL 解析(6)
08-24 4万+
从上述整个SQL编译的过程，可以看出编译过程的设计有几个优点值得学习和借鉴使用Antlr开源软件定义语法规则，大大简化了词法和语法的编译解析过程，仅仅需要维护一份语法文件即可。整体思路很清晰，分阶段的设计使整个编译过程代码容易维护，使得后续各种优化器方便的以可插拔的方式开关，譬如Hive 0.13最新的特性Vectorization和对Tez引擎的支持都是可插拔的。每个Operator只完成单一的功能，简化了整个MapReduce程序。
数仓工具—Hive源码之SQL解析AntlrWorks的使用(10)
09-30 4万+
AntlrWorks 就是Antlr的一个idea ，提供了开发(editor)，测试(interpreter)，调试(debugger)，以及代码生成的功能，其中调试是idea 的Antlr插件不具备的。到今天我们的工具就介绍完了，后面我们就可以专心的学习Antlr以及SQL解析了。
数仓工具—Hive源码之SQL解析Antlr入门(7)
08-27 4万+
ANTLR 是 ANother Tool for Language Recognition的首字母，是一个语言类工具，主要充当翻译器、编译器、识别器、或者是分析器这样的一个角色，也就是将一些列规则翻译成特定语言代码(Java, C/C++, C#, Python, Ruby)的一个工具。说直白点就是定义语法规则文件—>生成特定语言解析规则文件的代码—>被特定的语言所识别，想想我们的Hive-Sql 是不是就是这样的，不然SQL怎么转化成MR程序。Antlr (ANother Tool for Langua
数仓工具—Hive基础之临时表及示例
最新发布
07-14 3万+
临时表是应用程序自动管理在大型或复杂查询执行期间生成的中间数据的一种便捷方式。Hive 0.14 及更高版本支持临时表。可以在用户会话中像使用普通表一样多次使用它们。在本文中，我们将介绍，以及如何创建和使用限制的示例。是限于用户会话的。您可以在用户会话中多次重复使用临时表。Hive 在创建它们的 Hive 会话结束时自动删除所有临时表。临时表中的数据存储在用户的临时目录而不是 Hive 仓库目录中。通常，位置将是。
一整套电商数仓的搭建源码+项目说明(包括数据采集平台的搭建).zip
03-17
【资源说明】 1、该资源包括项目的全部源码，下载可以直接使用！ 2、本项目适合作为计算机、数学、电子信息等专业的课程设计、期末大作业和毕设项目，作为参考资料学习借鉴。 3、本资源作为“参考资料”如果需要实现其他功能，需要能看懂代码，并且热爱钻研，自行调试。 一整套电商数仓的搭建源码+项目说明(包括数据采集平台的搭建，将用户的行为数据分为四层分别分层搭建，并实现业务数据库的分层搭建，针对数据仓库中的数据进行，留存、转化率、复购率、GMV、活跃等报表分析，采用Apache版本的框架实现).zip
笔记源码资料-阿里云数仓实时.zip
07-05
1）学习搭建一个实时数据仓库的过程，理解数据在整个数仓架构的从采集、存储、计算、 输出、展示的整个业务流程。 2）整个实时数仓体系完全搭建在阿里云架构上，理解并学会运用各个服务组件，了解各个 组件之间如何配合联动。 1）实时采集埋点日志数据 2）实时采集业务数据库中数据 3）对数据清洗和处理 4）保存数据到数据库 5）对结果进行可视化展示
数据仓库
02-26
项目设置 安装 克隆存储库： git clone git@github.com:mosiichuk/data-warehouse.git 安装项目所需的依赖项。 npm install 要在文件夹的根目录中开始开发，请运行命令： npm start 它将运行本地开发服务器，所有更改将立即反映在浏览器中。
详解Hive-CliDriver续——细读Hive源码（三）
wotkk的博客
07-07 1502
上次我们阅读了main(),run(),和CLiDriver的构造函数；接上，我们该阅读executeDriver函数了。在进入executeDriver之前，我们可以认为Hive处理的是用户进入Hive程序的指令，到此用户已经进入了Hive，Cli的Driver 将不断读取用户的HiveQL语句并解析，提交给Driver。executeDriver 函数内部核心的代码是通过while循环不断按行读
Hive源码分析：CLI入口类
weixin_34185320的博客
04-11 158
说明： 本文的源码分析基于hive-0.10.0-cdh4.3.0。 启动脚本 从shell脚本/usr/lib/hive/bin/ext/cli.sh可以看到hive cli的入口类为org.apache.hadoop.hive.cli.CliDriver cli () { CLASS=org.apache.hadoop.hive.cli.Cl...
【实时数仓】实现用户行为日志相关功能（源码）
weixin_43923463的博客
12-13 462
保存每个mid的首次访问日期，每条进入该算子的访问记录，都会把mid对应的首次访问时间读取出来，跟当前日期进行比较，只有首次访问时间不为空，且首次访问时间早于当日的，则认为该访客是老访客，否则是新访客。同时如果是新访客且没有访问记录的话，会写入首次访问时间。is_new为0不用修复，已经访问过，状态是正确的；为1时才会出现状态不准确的情况。日志格式如下： （2）利用侧输出流实现数据拆分 根据日志数据内容,将日志数据分为3类，页面日志、启动日志和曝光日志。页面日志输出到主流,启动日志输出到启动侧输出流，曝光日
vertx源码_实时数仓 | Flink实时维表join方法总结（附项目源码）
weixin_33660045的博客
01-03 227
分享嘉宾：中国好胖子编辑整理：柠檬妹出品平台：数据仓库与Python大数据目录1、ETL背景2、解决方案2.1 直接查库定时更新2.2 异步IO2.3 Broadcast的方式2.4 异步io结合Cache3、完整源码正文Tips：推荐收藏，PC端观看效果更佳哦1、ETL背景在我们实时数仓日常工作中，经常会有一些实时的需求，这些需求往往都是一些拉宽的需求。为了给实时数仓来进行OLAP对来...
数仓工具—hive源码之源码环境搭建(1)
热门推荐
07-03 6万+
源码环境的搭建 模块预览 从今天起我们开始学习Hive 源码系列，所以今天我们先搭建源码环境 ，开始之前学习一下 Hive的架构设计和 Hive的编译安装，开始之前我们还是先clone 源码然后打包。 如果出现Could not find artifact org.pentaho:pentaho-aggdesigner-algorithm:jar:5.1.5-jhyde 可以尝试手动安装 mvn install:install-file -DgroupId=org.pentaho -DartifactId
CliDriver续
weixin_30470643的博客
01-17 126
cliDriver 调用 processCmd(String cmd) public int processCmd(String cmd) { CliSessionState ss = (CliSessionState) SessionState.get(); ss.setLastCommand(cmd); ss.updateThreadName(); 在这个方法里 ...
hive cli.CliDriver
09-05
Hive CLI (Command Line Interface) is a command-line tool provided by Apache Hive for interacting with Hive and executing HiveQL queries on a Hive database. It is implemented as the class `CliDriver` in the Hive codebase. The `CliDriver` class provides a command prompt where users can enter HiveQL queries and execute them against the Hive database. It parses and processes these queries using the Hive compiler, and then submits the execution plan to the Hive execution engine. To start the Hive CLI, you can run the following command in your terminal: ``` hive ``` Once the CLI starts, you can enter your HiveQL queries and execute them against the configured Hive database. The results of the queries will be displayed on the console. Note: Hive CLI has been deprecated since Apache Hive 2.0.0 and has been replaced by Hive Beeline. It is recommended to use Beeline as the preferred command-line interface for Hive.
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

不二人生

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值