PRESTO

最新推荐文章于 2024-05-16 15:26:10 发布
最新推荐文章于 2024-05-16 15:26:10 发布
阅读量302 收藏
点赞数 1
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/wjandy0211/article/details/79458264
版权

PRESTO

Presto是一个开源的分布式SQL查询引擎，适用于交互式分析查询，数据量支持GB到PB字节，为了解决像Facebook这样规模的商业数据仓库的交互式分析和处理速度的问题。

可以做什么？

Presto支持在线数据查询，包括Hive, Cassandra, 关系数据库以及专有数据存储。 一条Presto查询可以将多个数据源的数据进行合并，可以跨越整个组织进行分析。期望响应时间小于1秒到几分钟。

架构


presto-overview.png

Presto是一个运行在多台服务器上的分布式系统。 完整安装包括一个coordinator和多个worker。 由客户端提交查询，从Presto命令行CLI提交到coordinator。 coordinator进行解析，分析并执行查询计划，然后分发处理队列到worker

连接器

HADOOP / HIVE

Presto支持从以下版本的Hadoop中读取Hive数据：

  • Apache Hadoop 1.x
  • Apache Hadoop 2.x
  • Cloudera CDH 4
  • Cloudera CDH 5

支持以下文件类型：Text, SequenceFile, RCFile, ORC

此外，需要有远程的Hive元数据。 不支持本地或嵌入模式。 Presto不使用MapReduce，只需要HDFS。

CASSANDRA

必须有Cassandra 2.x。 这种连接器完全不依赖Hive连接器，只需要一个安装好的Cassandra。

部署Presto

下载Presto server tarball, presto-server-0.100.tar.gz,将它解压。 它包含一个顶级目录， presto-server-0.100，我们叫它安装目录

Presto需要一个用于存储日志、本地元数据等的数据目录。 建议在安装目录的外面创建一个数据目录。这样方便Presto进行升级

配置Presto

在安装目录中创建一个etc目录。 在这个etc目录中放入以下配置信息：

  • 节点属性：每个节点的环境配置信息
  • JVM 配置：JVM的命令行选项
  • 配置属性：Presto server的配置信息
  • Catalog属性：configuration forConnectors（数据源）的配置信息
wandy0211
关注
  • 1
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
presto 基本概念和架构
一蓑烟雨
03-09 2000
Presto是一款Facebook开源的MPP架构的OLAP查询引擎，可针对不同数据源执行大容量数据集的一款分布式SQL执行引擎。因为工作中接触到Presto，研究它对理解SQL Parser、常见算子的实现（如SQL中table scan,join,aggregation）、资源管理与调度、查询优化（如向量化执行、动态代码生成）、大数据下各个组件为何适用不同场景等等都有帮助。我希望通过这个系列可以了解一条SQL在大数据场景下该如何高效执行。233酱准备不定时持续更新这个系列，本文主要从Presto的使用举
presto
03-21
Laravel应用演示项目 ... cd presto 将.env.example复制到.env cp .env.example .env 生成应用程序镜像docker-compose build app生成应用docker-compose build app 在后台模式下运行环境-d docker-compo
presto 0.166概述
weixin_30740581的博客
06-21 650
presto是什么 是Facebook开源的，完全基于内存的并⾏计算，分布式SQL交互式查询引擎 是一种Massively parallel processing (MPP)架构，多个节点管道式执⾏ ⽀持任意数据源（通过扩展式Connector组件），数据规模GB~PB级 使用的技术，如向量计算，动态编译执⾏计划，优化的ORC和Parquet Reader等 presto不太支持存储过程...
大数据工具——Presto
最新发布
麦当当的博客
05-16 1252
Presto是一款分布式SQL查询引擎, Presto可以独立提供计算分析操作, 不需要依赖于其他的计算引擎。
Presto
多头注意力探索Now
08-12 120
Facebook开源的大数据分布式SQL查询引擎
Presto简介
清平乐的技术专栏
05-21 1324
一、Presto是什么？ Presto是一个开源的分布式SQL查询引擎，适用于交互式分析查询，数据量支持GB到PB字节。 Presto的设计和编写完全是为了解决像Facebook这样规模的商业数据仓库的交互式分析和处理速度的问题。 官网和部署地址：http://prestodb.jd.com/overview.html 二、它可以做什么？ Presto支持在线数据查询，包括Hive, Cassandra, 关系数据库以及专有数据存储。 一条Presto查询可以将多个数据源的数据进行合并，可以跨越整个组织进行
[Presto]什么是Presto
SmartSi
09-30 7302
1. Presto不是什么 虽然Presto一直被一些个人或者团体称为 数据库 ，但是Presto并不是数据库。 千万不要以为Presto可以解析SQL，那么Presto就是一个标准的数据库。Presto并不是传统意义上的数据库。Presto并不是MySQL、PostgreSQL或者Oracle的代替品。Presto并不能用来处理在线事务。其实很多其他的数据库产品也是被用来设计为数据仓
presto-oracle
04-01
Presto OraclePlugin This is a plugin for Presto that allow you to use Oracle Jdbc Connection Presto-Connectors Member Connection Configuration Create new properties file inside etc/catalog dir: ...
深入理解Presto
02-24
Presto是一个facebook开源的分布式SQL查询引擎，适用于交互式分析查询，数据量支持GB到PB字节。presto的架构由关系型数据库的架构演化而来。presto之所以能在各个内存计算型数据库中脱颖而出，在于以下几点：清晰的...
presto sql 与mysql sql 对比.pdf
08-08
Presto SQL 与 MySQL SQL 对比 基础 Presto SQL 和 MySQL SQL 都是关系型数据库管理系统，但它们之间存在一些差异。在 Presto SQL 中，字段名和表名使用双引号括起来，而在 MySQL SQL 中，字段名和表名使用反引号...
presto部署并连接postgresql
12-26
在IT行业中，Presto是一个分布式SQL查询引擎，设计用于快速处理大规模的数据。它支持多种数据源，包括Hadoop Distributed File System (HDFS)、Amazon S3、Cassandra以及我们这里关注的PostgreSQL。本篇文章将详细...
presto剖析
09-17
treasure data presto学习资料，presto剖析（ppt）
Presto 介绍
Shyllin的博客
08-22 365
Coordinator协调器：用于接受用户查询并管理工作节点以执行查询工作。Worker工作节点：负责执行任务和处理数据。协调器上通常会运行一个节点发现服务（discovery service），工作节点通过注册到此服务以加入集群。客户端、协调器和工作节点之间的通信和数据传输完全通过基于 HTTP/HTTPS 的 RESTful API 调用。
Presto 详细介绍
热门推荐
程序员学习圈
10-10 1万+
1.Presto 简单介绍 1.1 Presto基本概念 Presto是Facebook开源的MPP SQL引擎，旨在填补Hive在速度和灵活性（对接多种数据源）上的不足。相似的SQL on Hadoop竞品还有Impala和Spark SQL等。这里我们介绍下Presto的基本概念。 Presto是一个分布式的查询引擎，本身并不存储数据，但是可以接入多种数据源，并且支持跨数...
Presto详解
weixin_59295776的博客
03-07 987
Presto是由Facebook2012年开发，基于内存、支持并行计算的分布式SQL交互式查询引擎，不是数据库，支持多种数据源，针对GB~PB数据查询可以达到秒级返回结果，主要用于秒级查询OLAP数据分析场景。目前该项目在Facebook中运行超过30000个查询，每日处理数据PB以上。Presto的查询速度是Hive的10倍以上。一、Presto 自定义函数我们可以登录Presto客户端，使用命令：show functions 来查询对应的内置函数。
presto clickhouse
04-12
Presto和ClickHouse是两个开源的分布式SQL查询引擎，可以用于大规模数据分析和查询。它们可以通过Presto的ClickHouse连接器进行集成，实现在Presto中对ClickHouse中的数据进行查询[^1]。 以下是一个使用Presto查询ClickHouse数据的示例： 1. 首先，确保你已经安装了Presto和ClickHouse，并且ClickHouse已经启动。 2. 在Presto的配置文件中，添加ClickHouse连接器的配置。你可以在Presto的安装目录中的etc/catalog目录下找到配置文件，例如clickhouse.properties。 3. 在clickhouse.properties文件中，添加以下配置信息： ```shell connector.name=clickhouse clickhouse.url=http://clickhouse-host:8123 ``` 其中，clickhouse.url是ClickHouse的连接地址，根据你的实际情况进行修改。 4. 保存并关闭clickhouse.properties文件。 5. 启动Presto服务。 6. 在Presto的命令行界面中，可以使用类似SQL的语法来查询ClickHouse中的数据。例如，查询ClickHouse中的表数据： ```shell SELECT * FROM clickhouse_schema.clickhouse_table; ``` 其中，clickhouse_schema是ClickHouse中的数据库名称，clickhouse_table是要查询的表名。 通过以上步骤，你可以在Presto中使用SQL语法查询ClickHouse中的数据。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值