presto源码学习1——Presto概述

最新推荐文章于 2024-04-22 16:18:37 发布
VIP文章 最新推荐文章于 2024-04-22 16:18:37 发布
阅读量1.2k 收藏 2
点赞数 1
分类专栏： presto源码学习 文章标签： 大数据 presto
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_29721419/article/details/109137489
版权

presto是基于Java语言开发的一个用来即席查询大数据的查询引擎，是facebook公司的一个开源产品

相关文档
  • git地址：https://gitee.com/mirrors/presto.git
  • 官方文档

presto的特点

特点 说明
多数据源 presto目前支持包括mysql、hive等多种常用存储
扩展性 presto支持开发者自定义开发可插拔式的数据源插件
混合计算 presto支持同一个集群接入多个同一种存储组件，比如一个presto集群可以接入两个以上的hive集群，并且支持对这两个不同的hive集群的数据进行join查询和计算
高性能 presto是完全基于内存的并行计算，查询速度是hive的十倍之上

presto中的角色

在这里插入图片描述

如图所

最低0.47元/天 解锁文章
小黄鸭and小黑鸭
关注
  • 1
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 1
    评论
专栏目录
presto-go-client：Go编程语言的Presto客户端
01-30
Presto客户 编程语言的客户端。 产品特点 本机Go实施 通过HTTP或HTTPS的连接 HTTP基本和Kerberos身份验证 每个查询的用户信息，用于访问控制 支持自定义HTTP客户端（可调conn池，超时，TLS） 支持从Presto到本机Go数据类型的转换 string ， sql.NullString int64 ， presto.NullInt64 float64 ， presto.NullFloat64 map ， presto.NullMap time.Time ， presto.NullTime 任意支持类型的多达3维数组到Go切片 要求 达到1.8或更高版本 Presto 0.16x或更高版本 安装 您需要一个安装了Go并设置了$ GOPATH的工作环境。 下载并安装presto数据库/ sql驱动程序： go get github.com/prestodb/presto-go-client/presto 确保已在$ PATH中安装了Git。 用法 该Presto客户端是Go的database/sql/driver接口的实现。 为了使用它，您需
Presto简介
name_szd的博客
10-25 532
Presto Presto介绍: Presto 是 Facebook 推出的一个基于Java开发的大数据分布式 SQL 查询引擎，是一种Massively parallel processing (MPP)架构，数据规模达GB~PG级，Presto 支持众多类型的数据源，包括传统的关系数据库和其他数据源，如hive、Cassandra、mysql等。据称Presto 的查询速度是hive的5...
presto源码编译
一光年
01-18 937
fork代码：https://github.com/trinodb/trino 下载代码到本地，如果下载慢，可以通过码云导入 进入代码目录，切换分支，git checkout 347 环境要求： Mac OS X or Linux Java 11.0.7+, 64-bit Docker 编译：mvn clean install -DskipTests 速度很慢，切换阿里云的maven源 <?xml version="1.0" encoding="UTF-8"?...
presto（一）源码在IDEA上 运行调试（windows版）
Interest1_wyt的博客
06-14 1575
最近在实现presto+kylin功能时，编辑的kylin plugin一直执行有问题，presto server反馈的信息有限，所以就想通过presto源码看下具体问题在哪。在运行presto源码上zhen
Presto 之SQL到Operator转换过程的代码走读
王飞活的博客
02-05 2338
在Presto中，Operator是真正具备计算能力的算子。本文主要通过代码走读来理解在Presto中如何将SQL语句一步一步转换到Operator执行算子的。在Presto中，整体的转换过程为SQL语句 -> Statement -> RelationPaln -> LogicalPlanner -> fragmentedPlan -> Operator。如下为其实现过程的代码走读。
Presto提交查询源码解析
qq_27639777的博客
06-26 806
文章目录概述CLI获取查询SQL组装并向Coordinator发送查询请求循环获取查询结果 概述 用户可以通过JDBC或者CLI提交查询语句，本文以CLI客户端为例来讲解Presto如何提交查询。Presto客户端对查询语句的提交主要分为三个步骤。 从指定的文件、命令行参数或者CLI窗口中获取需要执行的SQL语句。 将得到的SQL语句组装成一个RESTful请求，发送给Coordinator，并处理返回的response。 Cli会不停地循环分批读取查询结果（并在屏幕进行动态显示），直到查询结果完全显示完
facebook presto源码解读（part1）

10-09 8281
facebook presto源码解读（part1）边学变卖，把代码查看结果汇报给各位读者，如有不对请指正。 part1主要是介绍整体的代码结构和大致的运行流程。锅的代码是在2016年8月从官网下载的。整体结构如下:presto 客户端代码在presto-cli模块 但presto服务端代码不在presto-server，打开presto-server模块可以发现他采用maven的插件进行编译
Presto源码解析--提交查询
csding11的博客
04-16 1259
本文的Presto是基于330版本 提交查询的步骤 presto的连接方式可以有两种，分别是CLI形式的和JDBC形式的，分别对应源码中的presto-cli模块和presto-jdbc模块，后续真正提交到presto coordinator对应到presto-client模块。本文以CLI来讲解Presto如何提交查询。 Presto客户端对查询语句的提交主要分为以下3个步骤： 从制定的文件、命令行参数或者Cli窗口中获取需要执行的Sql语句。 将得到的Sql语句组装成一个RESTful请求，发送给Co
Presto源码整理 --提交与调度侧
jorondo的博客
11-04 301
DispachManager.createQuery  createQueryInternal    queryPreparer.prepareQuery[Statement,List,formattedQuery]     sqlParser.createStatement    getQueryType[DELETE,DESCRIBE,EXPLAIN,ANALYZE,INSERT,SELECT,
maven实战 源码_源码学习(一)Presto编译与调试
weixin_39716877的博客
12-02 301
导读：在大数据生态之数据计算(二)中我们讲到了即席查询计算引擎Presto。Presto是一个Facebook开源的分布式SQL查询引擎，适用于交互式分析查询，数据量支持GB到PB字节。Presto的架构由关系型数据库的架构演化而来，Presto在各个内存计算型数据库中脱颖而出。很多大数据类的研究项目都在选择以Presto为基础去做一些定制化的实验，那现在我们试着从源码的角度去探索他的奥...
presto：Presto
02-13
普雷斯托 Presto是用于大数据的分布式SQL查询引擎。 有关部署说明和最终用户文档，请参见《》。 要求 Mac OS X或Linux Java 8 Update 92或更高版本（8u92 +），64位。 支持Oracle JDK和OpenJDK。 Maven 3.3.9+（用于建筑） Python 2.4+（用于与启动器脚本一起运行） 建筑普雷斯托 Presto是一个标准的Maven项目。 只需从项目根目录运行以下命令： ./mvnw clean install 在第一个版本中，Maven将从Internet下载所有依赖项并将它们缓存在本地存储库（ ~/.m2/repository ）中，这可能会花费大量时间。 随后的构建将更快。 Presto有一套全面的单元测试，可能需要几分钟才能运行。 您可以在构建时禁用测试： ./mvnw clean install -Dskip
presto0.166概述
02-24
计划，优化的ORC和ParquetReader等presto不太支持存储过程，支持部分标准sqlpresto的查询速度比hive快5-10倍上面讲述了presto是什么，查询速度，现在来看看presto适合干什么适合：PB级海量数据复杂分析，交互式SQL...
Presto技术内幕part1
11-25
Presto技术内幕 _JD-Presto研发团队_ 电子工业出版社_第1版
datax支持presto读取
12-07
1、说明：datax支持presto读取，datax规范开发插件，读取presto中数据，可以在presto中配置mysql、postgresql、es、hive等数据库的连接，通过datax执行关联查询，数据存入新的库 2、插件更新：解压文件 prestoreader...
Presto_ODBC.rar
09-10
包含32位和64位驱动，配置调试通过，有配置截图，另外提供简单的c#调用方法。安装包含64位驱动，但是C#调用的话请使用32位驱动。
Presto大数据分布式SQL查询引擎的官方主页——prestodb/ Presto
01-27
Presto Presto is a distributed SQL query engine for big data. See the for deployment instructions and end user documentation. Requirements Mac OS X or Linux Java 8 Update 151 or higher (8u151+), 64-...
深入理解Java消息中间件-RabbitMQ
u011532237的博客
04-21 800
RabbitMQ是基于高级消息队列协议（AMQP）实现的一款开源消息代理软件，旨在提供高可用性、安全、互操作性强的企业消息系统。它由Erlang编写，因而继承了Erlang语言高并发、高可靠性的特点。
大数据——Zookeeper ZBA协议（四）
大数据爱好者的博客
04-20 873
对于分布式框架而言，基本上都会遵循CAP三大理论CAP(CAP理论是从客户端角度出发的！！！C(Consistency)：一致性。在一段时间内，访问这个集群获取到的数据是相同的。注意，此时，在一个时间段内，不要求每一台服务器的数据都一样，只要保证客户端获取到的数据一样就行A(Availability)：可用性。当客户端对集群中的节点发起请求的时候，节点能够在合理的时间内(一般理解为立刻)进行响应 - 时效性。注意，此处的可用性和服务器的高可用不是一回事儿！！！
大数据技术应用实训室解决方案
最新发布
whwzzc的博客
04-22 1061
大数据实验实训课程体系的设计依据主要围绕培养目标、培养方案和课程体系建设三个方面来展开。大数据实验实训课程的设计旨在培养具备大数据理论知识和实践技能的专业人才。具体而言，这些人才应该能够熟练掌握大数据处理和分析的核心技术，具备独立设计和实施大数据应用的能力。同时，他们还应具备创新思维和团队协作精神，能够适应大数据行业的快速发展和变化。通过实训课程的训练，学生能够熟悉主流的大数据平台和工具，了解大数据应用的最新趋势和场景，为未来的职业发展打下坚实的基础。
presto clickhouse
04-12
Presto和ClickHouse是两个开源的分布式SQL查询引擎，可以用于大规模数据分析和查询。它们可以通过Presto的ClickHouse连接器进行集成，实现在Presto中对ClickHouse中的数据进行查询[^1]。 以下是一个使用Presto查询ClickHouse数据的示例： 1. 首先，确保你已经安装了Presto和ClickHouse，并且ClickHouse已经启动。 2. 在Presto的配置文件中，添加ClickHouse连接器的配置。你可以在Presto的安装目录中的etc/catalog目录下找到配置文件，例如clickhouse.properties。 3. 在clickhouse.properties文件中，添加以下配置信息： ```shell connector.name=clickhouse clickhouse.url=http://clickhouse-host:8123 ``` 其中，clickhouse.url是ClickHouse的连接地址，根据你的实际情况进行修改。 4. 保存并关闭clickhouse.properties文件。 5. 启动Presto服务。 6. 在Presto的命令行界面中，可以使用类似SQL的语法来查询ClickHouse中的数据。例如，查询ClickHouse中的表数据： ```shell SELECT * FROM clickhouse_schema.clickhouse_table; ``` 其中，clickhouse_schema是ClickHouse中的数据库名称，clickhouse_table是要查询的表名。 通过以上步骤，你可以在Presto中使用SQL语法查询ClickHouse中的数据。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

小黄鸭and小黑鸭

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值