Presto介绍

最新推荐文章于 2024-07-14 19:46:27 发布
最新推荐文章于 2024-07-14 19:46:27 发布
阅读量110 收藏
点赞数
文章标签： 数据库 大数据 javascript ViewUI
原文链接：https://yq.aliyun.com/articles/25581
版权

1. 简介

Presto 是一个运行在集群之上的分布式系统。一个完全的安装报考一个 coordinator 进程和多个 workers 进程。查询通过一个客户端例如 Presto CLI 提交到 coordinator 进程。这个 coordinator 进程解析、分析并且生成查询的执行计划，然后将执行过程分发到 workers 进程。

下面是一个架构图（图来自 http://www.dw4e.com/?p=141，此图将官网的架构图稍微修改了一下，增加了 Discovery 的服务，这样可能看起来会更清楚一些）：

Presto 查询引擎是一个 Master-Slave 的架构，由一个 Coordinato r节点，一个 Discovery Server 节点，多个 Worker 节点组成，Discovery Server 通常内嵌于 Coordinator 节点中。Coordinator 负责解析 SQL 语句，生成执行计划，分发执行任务给 Worker 节点执行。Worker 节点负责实际执行查询任务。Worker 节点启动后向 Discovery Server 服务注册，Coordinator 从 Discovery Server 获得可以正常工作的 Worker 节点。如果配置了 Hive Connector，需要配置一个 Hive MetaStore 服务为 Presto 提供 Hive 元信息，Worker 节点与 HDFS 交互读取数据。

2. 要求

Presto 有以下几个基本要求：

  • Linux 或者 Mac OS X 系统
  • Java 8，64位
  • Python 2.4++

2.1 连接器

Presto 支持可插拔的连接器用于提供数据查询。不同连接器的要求不一样。

HADOOP/HIVE

Presto 支持读以下版本的 hive 数据：

  • Apache Hadoop 1.x，使用 hive-hadoop1 连接器
  • Apache Hadoop 2.x，使用 hive-hadoop2 连接器
  • Cloudera CDH 4，使用 hive-cdh4 连接器
  • Cloudera CDH 5，使用 hive-cdh5 连接器

支持以下格式：Text、SequenceFile、RCFile、ORC。

另外，还需要一个远程的 Hive metastore 服务。本地的或者嵌入式模式是不支持的。Presto 不使用 MapReduce 并且只需要 HDFS。

CASSANDRA

Cassandra 2.x 是需要的。这个连接器是完全独立于 Hive 连接器的并且仅仅需要一个安装好的 Cassandra 集群。

TPC-H

TPC-H 连接器动态地生成数据用于实验和测试 Presto。这个连接器没有额外的要求。

当然，Presto 还支持一些其他的连接器，包括：

  • JMX
  • Kafka
  • MySQL
  • PostgreSQL

3. 使用场景

3.1 What Presto Is Not

Presto 支持 SQL 并提供了一个标准数据库的语法特性，但其不是一个通常意义上的关系数据库，他不是关系数据库，如 MySQL、PostgreSQL 或者 Oracle 的替代品。Presto 不是设计用来解决在线事物处理（OLTP）。

3.2 What Presto Is

Presto 是一个工具，被用来通过分布式查询来有效的查询大量的数据。Presto 是一个可选的工具，可以用来查询 HDFS，通过使用 MapReduce 的作业的流水线，例如 hive，pig，但是又不限于查询 HDFS 数据，它还能查询其他的不同数据源的数据，包括关系数据库以及其他的数据源，比如 cassandra。

Presto 被设计为处理数据仓库和分析：分析数据，聚合大量的数据并产生报表，这些场景通常被定义为 OLAP。

3.3 Who uses Presto?

国外：

  • Facebook，Presto 的开发者

国内：

4. 资料

以下是一些资料，希望对你了解 Presto 有所帮助：

weixin_33675507
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Presto进程管理实现监控&宕机重启
杨鑫newlife的专栏
12-09 1203
方案一： #!/bin/bash . /etc/profile check() { ip_addr=$(ifconfig -a|grep -o -e 'inet addr:[0-9]\{1,3\}.[0-9]\{1,3\}.[0-9]\{1,3\}.[0-9]\{1,3\}'|grep -v "127.0.0"|awk '{print $2}') # 报警通知 ip_addr Pres...
Presto介绍、原理、安装使用
02-27
Presto介绍、原理、安装使用
Presto简介
热门推荐
qq_42511550的博客
08-07 1万+
一 Presto 是什么 Presto是一个facebook开源的分布式SQL查询引擎，适用于交互式分析查询，数据量支持GB到PB字节。presto的架构由关系型数据库的架构演化而来。因此Presto集群的硬件必须满足大内存，万兆网络和高计算能力特点。 二 Presto 特点 三 Presto基本概念 1 Presto 服务进程 Presto 集群中一共有两种服务器进程: Coordinator服务进程，Worker服务进程。因此Presto集群是Master-Slave的拓扑结构。 Coordi
Presto知识点整理
Tu_maimes
12-04 403
1、基本概念 Presto服务进程 Presto集群中一共有两种服务进程，Coordinator与Worker服务进程，Coordinator服务进程主要是：接收查询请求、解析查询语句、生成查询执行计划、任务的调度和worker的管理。Worker服务则执行分解后的查询执行任务：Task。 Presto集群的基本通信模型 文件结构定义使用 2、查询执行模型 Statement St...
presto_介绍presto
weixin_26717681的博客
08-15 808
prestoEditor’s Note: We think this piece is important because it reviews a tool designed to efficiently query vast amounts of data, allowing for analytics across an entire organization. As foremost ex...
监控presto程序进程
An342647823的专栏
12-17 986
#!/bin/bash ps -ef|grep  -v grep|grep presto >/dev/null 2>&1 if [ $? -eq 0 ] then   echo "yes-->$(date "+%Y-%m-%d-%H-%M")"  >> check_presto_yes.log else   echo "no-->$(date "
presto部署并连接postgresql
12-26
本篇文章将详细介绍如何部署Presto并将其连接到PostgreSQL数据库，同时也会提及配置文件的设置和官方文档的参考。 首先，部署Presto涉及到以下几个步骤： 1. **获取Presto源码或二进制分发版**：你可以从Presto的...
presto资源组配置
05-11
在本节中，我们将详细介绍 Presto 资源组配置的各个方面，包括配置文件、资源组、软限制、硬限制、并发限制、队列限制、调度策略、JMX 导出、子组以及选择器等。 资源组配置文件 Presto 资源组配置文件是 JSON ...
presto on kubernetes-present
12-17
presto on kubernetes介绍
Presto在Uber的使用
11-14
介绍Presto在Uber(优步)的应用，使得读者可以对Presto更加了解
JavaFx+MySql学生管理系统
2301_81253185的博客
07-11 1096
上个月学习了javafx和mysql数据库,于是写了一个学生管理系统,因为上个月在复习并且有一些事情,比较忙,所以没有更新博客了,这个项目页面虽然看着有点简陋了,但是大致内容还是比较简单的,于是现在跟大家分享一下我的学生管理系统,希望对这方面有兴趣的同学提供一些帮助。
set user & password for database 设置数据库 用户和密码
DavidsonGong的博客
07-12 145
USE sbms;
7.10飞书一面面经
东篱君的博客
07-10 1194
B+树的⾮叶⼦节点不存放实际的记录数据，仅存放索引，所以数据量相同的情况下，相⽐存储即存索引⼜存记录的 B 树，B+树的⾮叶⼦节点可以存放更多的索引，因此 B+ 树可以⽐ B 树更「矮胖」，查询底层节点的磁盘 I/O次数会更少。主从复制：单节点Redis的并发能力是有上限的，要进一步提高Redis的并发能力，可以搭建主从集群，实现读写分离。B+ 树有⼤量的冗余节点（所有⾮叶⼦节点都是冗余索引），这些冗余索引让 B+ 树在插⼊、删除的效率都更⾼，⽐如删除根节点的时候，不会像 B 树那样会发⽣复杂的树的变化；
mysql笔记1
m0_62975692的博客
07-11 371
首先查看systemctl status mysqld，如果是关闭的可以进入的配置文件打开mysql，我的mysql配置文件就是在/usr/local/mysql/support-filess/下，在此目录下执行./mysql.server start,打开mysql服务，也可以通过systmectl start mysqld，如果你嫌麻烦的话可以systemctl enable mysqld 一直打开mysql的服务;重新给字段添加约束的时候不可以添加not null约束的！
Redis集群和高可用
xiaogengtongxu的博客
07-13 406
主从架构无法实现master和slave角色的自动切换，即当master出现redis服务异常、主机断电、磁盘损坏等问题导致master无法使用，而redis主从复制无法实现自动的故障转移(将slave 自动提升为新master)，需要手动修改环境配置,才能切换到slave redis服务器，另外当单台Redis服务器性能无法满足业务写入需求的时候,也无法横向扩展Redis服务的并行写入性能。master和slave角色的无缝切换，让业务无感知从而不影响业务使用。
docker-compose安装PolarDB-PG数据库
wnfff的博客
07-12 291
docker-compose安装PolarDB-PG数据库
Redis数据结构-String篇
时间如瑾 代码如诗
07-12 895
对⼀个内部表示成long型的string执行append, setbit, getrange这些命令，针对的仍然是string的值（即⼗进制表示的字符串），而不是针对内部表⽰的long型进⾏操作。因此，在这些命令的实现中，会把long型先转成字符串再进行相应的操作。String 的内部存储结构⼀般是 sds（Simple Dynamic String，可以动态扩展内存），但是如果⼀个String 类型的 value 的值是数字，那么 Redis 内部会把它转成 long 类型来存储，从⽽减少内存的使用。
MySQL空间索引
你的指尖有改变世界的力量
07-10 279
空间类型是建立在空间类型字段上的。
Linux系统的用户组管理和权限以及创建用户
最新发布
Johaden的博客
07-14 647
因此，我们可以根据每个用户的角色、职位和需求，为他们分配相应的权限，以确保服务器的安全性和有效管理。sudo（superuser do）是在类Unix操作系统中（包括Linux和macOS）常用的一个命令，它允许经过授权的用户以系统管理员（通常是root用户）的权限来运行程序或命令。2.在登陆Ubuntu时，会填写全名、用户名、密码等，所创建的这个用户就是默认用户，其中全名可以类似为一个昵称，用户名为主机名（较正式，不可随意更改）。超级用户可以执行系统上的所有命令，包括系统配置、文件访问和用户管理等。
介绍presto sql基础语法
04-05
Presto SQL是一种分布式SQL查询引擎，它可以查询多种数据源，包括Hadoop、Cassandra、MySQL等。以下是Presto SQL的基础语法： 1. SELECT语句：用于从表中选择数据。语法如下： ``` SELECT column_name1, column_name2, … FROM table_name; ``` 2. WHERE语句：用于过滤数据。语法如下： ``` SELECT column_name1, column_name2, … FROM table_name WHERE condition; ``` 3. ORDER BY语句：用于按照指定的列排序查询结果。语法如下： ``` SELECT column_name1, column_name2, … FROM table_name ORDER BY column_name1 [ASC|DESC]; ``` 4. GROUP BY语句：用于按照指定的列对查询结果进行分组。语法如下： ``` SELECT column_name1, column_name2, … FROM table_name GROUP BY column_name1; ``` 5. JOIN语句：用于将两个或多个表中的数据合并在一起。语法如下： ``` SELECT column_name1, column_name2, … FROM table1 JOIN table2 ON table1.column_name = table2.column_name; ``` 6. UNION语句：用于将两个或多个查询结果合并在一起。语法如下： ``` SELECT column_name1, column_name2, … FROM table1 UNION SELECT column_name1, column_name2, … FROM table2; ``` 7. LIMIT语句：用于限制查询结果的数量。语法如下： ``` SELECT column_name1, column_name2, … FROM table_name LIMIT number; ``` 以上是Presto SQL的基本语法，还有其他一些高级语法可以根据需要使用。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值