Presto源码阅读笔记（Cli篇）

最新推荐文章于 2024-01-07 22:12:39 发布
最新推荐文章于 2024-01-07 22:12:39 发布
阅读量423 收藏 1
点赞数
文章标签： linux presto
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_51271122/article/details/114918111
版权

一、客户端启动

当客户端启动时（console执行run方法时），run方法中会进行一个判断，判断cli是否被终止，如果终止则使用addShutdownHook方法对当前正在执行的线程进行一个中断，并使当前线程进入一个等待唤醒的状态
addShutdownHook方法
在这里插入图片描述

当我们使用客户端进行连接时，会进行轮询判断，判断客户端是否还存活
在这里插入图片描述

获取PROMPT_NAME常量并赋值给prompt变量，并从queryRunner的session中获取schema信息，如果存在，则将 “:” 加schema信息添加至prompt变量末尾。
在这里插入图片描述

判断缓冲区内是否存在值，如存在，则说明语句没有输入完，将变量prompt赋值成PROMPT_NAME常量长度的空格加上 - 符号
在这里插入图片描述
最后在prompt变量后加>并输出到控制台
在这里插入图片描述
在这里插入图片描述

二、指令输入

将终端输入的命令使用赋值给line变量
在这里插入图片描述
判断本次的请求线程是否为中断状态，如果为中断状态，则清除缓冲区，执行下一个轮询请求
在这里插入图片描述

如果输入为空，则return回终端输入界面
在这里插入图片描述
从缓冲区是否存在值来判断是否为第一行，如果为第一行，则需要检测是否存在特殊命令，将变量line的值去掉前后空格赋给变量command
在这里插入图片描述
使用正则表达式来判断终端输入的命令是不是数字，如果是则获取输入数字所对应历史查询的索引并在终端输出历史查询的信息，如果输入数字小于零或者没有查询到相应索引的历史查询，则输出错误信息"Command does not exist"并进行下一次轮询
在这里插入图片描述
判断查询命令是否为分号结尾，如果是则将去掉分号的sql语句赋值给command变量
在这里插入图片描述
判断命令是否为exit，help，history，help，如果是则执行相应的逻辑
在这里插入图片描述
如果程序执行到这里则说明不为特殊命令，则将终端输入的指令加换行符后传入缓冲区
在这里插入图片描述
对代码以分号进行分割（\G在sql中可以理解为分号），并进行判断该sql语句是否为分号结尾，如果不是则为变量outputFormatoutputFormat赋常量值ALIGNED，是分号结尾则赋常量值VERTICAL
StatementSplitter类详解
在这里插入图片描述
这里定义常量使用了enum类型定义常量
在这里插入图片描述
之后执行process方法并将本次查询存入history中
在这里插入图片描述
检测是否存在不完整的语句并将其存入缓冲区（这里的完整指的是是否为分号结尾）
在这里插入图片描述

三、发送请求

这里说一下process方法
process方法的主要作用是用来初始执行某一条SQL，并通过初始执行返回信息不断查询结果
首先先对查询的sql进行补充，将queryRunner对象的session中存储的Catalog与Schema信息存入变量findSql
在这里插入图片描述
执行startQuery方法，该方法的主要作用是发送http请求（这里的query在执行完后会自动进行close）
在这里插入图片描述
在startQuery方法内部建立http请求并发送
在这里插入图片描述
包装request请求
在这里插入图片描述
发送请求并获取response
在这里插入图片描述
processResponse会将response的响应结果存入常量currentResults中
在这里插入图片描述
在这里插入图片描述

注意，这里获取的response不是查询的结果，所以需要再次向服务端发送请求来获取查询结果。回到Console类，可以看到执行了renderOutput方法，这个方法在获取到返回信息后不断循环进行查询
在这里插入图片描述
renderOutput方法进行判断当用户中断或者客户端挂掉的时候，直接返回，否则将当前线程暂时中断，执行完renderQueryOutput方法后再清除掉该线程的中断状态
在这里插入图片描述

renderQueryOutput方法中先判断客户端是否中断，如果中断则执行printInitialStatusUpdates方法，如果没有则执行processInitialStatusUpdates方法不断循环访问nextUri查询结果

在这里插入图片描述
processInitialStatusUpdates方法
在这里插入图片描述
processInitialStatusUpdates方法中执行advance方法不断获取下一个uri（这个uri中包括了queryid以及token）再次向服务端发送请求
如果nextUri为空，则将state从运行（RUNNING）置为结束（FINISHED），并直接返回false说明没有需要继续查询的数据了
在这里插入图片描述
生成的uri如下
在这里插入图片描述
使用nextUir构建request对象并使用execute方法进行发送
获取response
在这里插入图片描述
如果从获取的results中没有检测到Columns信息，则控制台输出"no columns"然后返回false
在这里插入图片描述
直到advance返回false时跳出while循环
执行console.resetScreen()方法逐行打印查询到的结果
在这里插入图片描述
至此，客户端sql执行流程完毕

翼幻幻幻幻
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
Opera presto 内核源码
04-04
opera presto浏览器源码，仅供学习研究，编译命令如下 # Presto Web rendering engine: Opera 12.15 ./flower -v -j 1 --without-kde4 --without-gtk3 --without-plugins --without-dual-plugin-wrapper --no-debug-symbols --optimize --without-autoupdatechecker --no-package-devel --release --package=tar
Presto提交查询源码解析
qq_27639777的博客
06-26 806
文章目录概述CLI获取查询SQL组装并向Coordinator发送查询请求循环获取查询结果 概述 用户可以通过JDBC或者CLI提交查询语句，本文以CLI客户端为例来讲解Presto如何提交查询。Presto客户端对查询语句的提交主要分为三个步骤。 从指定的文件、命令行参数或者CLI窗口中获取需要执行的SQL语句。 将得到的SQL语句组装成一个RESTful请求，发送给Coordinator，并处理返回的response。 Cli会不停地循环分批读取查询结果（并在屏幕进行动态显示），直到查询结果完全显示完
presto-cli-0.191-executable.jar
02-23
presto集成到hdp需要下载的包，亲测，已集成成功，并正常使用。
presto-cli-0.223-executable.jar
11-07
presto-cli-0.223-executable.jar
presto-cli-0.244.1-executable-noarch.jar
04-26
presto-cli-0.244.1-executable-noarch.jar
Presto CLI学习
最新发布
lucyLee的博客
01-07 1083
presto cli的各种流程分析
Presto CLI客户端的安装和使用
Bulut0907
07-04 1298
目录1. 客户端安装和使用 1. 客户端安装和使用 下载，然后重命名，最后赋予执行权限 [root@bigdata002 opt]# wget https://repo1.maven.org/maven2/com/facebook/presto/presto-cli/0.272/presto-cli-0.272-executable.jar [root@bigdata002 opt]# [root@bigdata002 opt]# mv presto-cli-0.272-executable.jar pre
结合Presto CLI，Presto Client学习
lucyLee的博客
04-15 565
结合Presto CLI，学习Presto client如何与coordinator交互的。 其中，REST API返回的response中的nextUri是推动查询进度的关键，StatementClientV1.advance()更是访问nextUri的关键方法
presto 理论概念和安装部署总结
qq_41578371的博客
03-21 1363
presto 理论概念和安装部署总结 presto 理论概念 presto 定义与概念 MPP（大规模并行处理）引擎MPP就是将任务并行地分散到多个服务器与节点上，在每个节点上计算完成后，将各自部分的结果汇总在一起得到最终的结果，Presto就是MPP引擎，Presto对于task中的splits可以做到并行处理。 presto 由facebook开源，用于在apache hadoop 之上的数据仓库上运行交互式查询。presto 是开源的用于大数据高性能的分布式的sql查询引擎，通过presto 可以让
Presto技术源码解析总结-一个SQL的奇幻之旅
LW_Moving_Bricks的博客
04-03 4416
Presto技术总结 1.环境准备 Hadoop环境，Hive环境，mysql环境，ssh环境，presto本机debug环境 推荐hadoop2.2.0、hive1.2.1、mysql5.7、openssh-server&client、presto最新版本 presto本地debug环境搭建参考presto in idea 2.查询入口&流程 所有的查询首先打到Statement...
presto-cli
10-22
presto-cli,presto-cli,
【操作文档】Presto服务安装
laichj的博客
11-24 761
1 环境准备 JDK1.8 Python 2.4+ 2 下载Presto安装包 下载地址： https://repo1.maven.org/maven2/com/facebook/presto/presto-server/0.216/ 3 安装Presto 3.1 解压缩 tar -zxvf presto-server-0.216.tar.gz -C /opt/module/ mv presto-server-0.216/ presto 3.2 配置JAVA_HOME和PATH（如果系统已配置，可以忽略）
presto架构及其原理
河南骏的博客
11-15 4067
resto 是 Facebook 推出的一个基于Java开发的大数据分布式 SQL 查询引擎，可对从数 G 到数 P 的大数据进行交互式的查询，查询的速度达到商业数据仓库的级别，据称该引擎的性能是 Hive 的 10 倍以上。Presto 可以查询包括 Hive、Cassandra 甚至是一些商业的数据存储产品，单个 Presto 查询可合并来自多个数据源的数据进行统一分析。Presto 的目标是
presto（一）源码在IDEA上 运行调试（windows版）
Interest1_wyt的博客
06-14 1575
最近在实现presto+kylin功能时，编辑的kylin plugin一直执行有问题，presto server反馈的信息有限，所以就想通过presto源码看下具体问题在哪。在运行presto源码上zhen
presto源码学习2——RESTFul服务
小黄鸭的博客
04-20 738
presto源码学习2——RESTFul服务 presto集群中的数据传输、节点通信、计算调度和监控等都是通过接口间的互相调用来实现的。其中，主要的的查询相关的接口有Statement、Query、Stage、Task这几类，都位于presto-main模块中 Statement接口 接口概览 Statement接口在QueuedStatementResource和ExecutingStatementResource类中声明 QueuedStatementResource中有以下几个操作接口 POST
Java语言的优雅停机 - 第308篇
qq_44600824的博客
01-03 272
Java语言的优雅停机 - 第308篇
java虚拟机钩子关闭函数addShutdownHook
weixin_38155822的博客
06-14 569
shutdown hook 就是一个简单的已初始化但是未启动的线程。当虚拟机开始关闭时，它将会调用所有已注册的钩子，这些钩子执行是并发的，执行顺序是不确定的。在虚拟机关闭的过程中，还可以继续注册新的钩子，或者撤销已经注册过的钩子。不过有可能会抛出 IllegalStateException。
facebook presto源码解读（part1）

10-09 8281
facebook presto源码解读（part1）边学变卖，把代码查看结果汇报给各位读者，如有不对请指正。 part1主要是介绍整体的代码结构和大致的运行流程。锅的代码是在2016年8月从官网下载的。整体结构如下:presto 客户端代码在presto-cli模块 但presto服务端代码不在presto-server，打开presto-server模块可以发现他采用maven的插件进行编译
presto源码编译
一光年
01-18 937
fork代码：https://github.com/trinodb/trino 下载代码到本地，如果下载慢，可以通过码云导入 进入代码目录，切换分支，git checkout 347 环境要求： Mac OS X or Linux Java 11.0.7+, 64-bit Docker 编译：mvn clean install -DskipTests 速度很慢，切换阿里云的maven源 <?xml version="1.0" encoding="UTF-8"?...
shh脚本执行presto
05-20
要在 sh 脚本中执行 Presto，你需要先安装 Presto 并且设置好环境变量。然后，在脚本中可以使用 Presto 的命令行工具 `presto-cli` 来执行查询。以下是一个简单的示例脚本： ```sh #!/bin/bash # 设置 Presto 环境变量 export PRESTO_HOME=/path/to/presto export PATH=$PATH:$PRESTO_HOME/bin # 执行 Presto 查询 presto-cli \ --server http://presto-server:8080 \ --catalog my_catalog \ --schema my_schema \ --execute "SELECT * FROM my_table" ``` 在上面的脚本中，我们首先设置了 Presto 的环境变量，然后使用 `presto-cli` 命令行工具来执行查询。其中，`--server` 参数指定 Presto 服务器的地址和端口，`--catalog` 和 `--schema` 参数指定查询的数据源和模式，`--execute` 参数指定要执行的 SQL 查询语句。你需要根据实际情况修改这些参数。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值