实时查询引擎 - Facebook Presto 介绍与应用

最新推荐文章于 2024-02-28 17:48:47 发布
最新推荐文章于 2024-02-28 17:48:47 发布
阅读量1.3k 收藏
点赞数
分类专栏： 大数据

http://www.cnblogs.com/hd-zg/p/6904727.html

 

1. Presto 是什么

  Facebook presto是什么，继Facebook创建了HIVE神器后的又一以SQL语言作为接口的分布式实时查询引擎，可以对PB级的数据进行快速的交互式查询。它支持标准的ANSI SQL.包含查询，聚合，JOIN以及窗口函数等。除了Facebook这个创造都在使用外，国内像京东，美团等也都有广泛的使用。对于英文不好的同学可以访问由京东创建的这个中文翻译站点：http://prestodb-china.com/，只是这个版本才0.100,现在最新版已到0.156.

Presto是一个开源的分布式SQL查询引擎，适用于交互式分析查询，数据量支持GB到PB字节。

Presto的设计和编写完全是为了解决像Facebook这样规模的商业数据仓库的交互式分析和处理速度的问题。

它可以做什么？

Presto支持在线数据查询，包括Hive, Cassandra, 关系数据库以及专有数据存储。 一条Presto查询可以将多个数据源的数据进行合并，可以跨越整个组织进行分析。

Presto以分析师的需求作为目标，他们期望响应时间小于1秒到几分钟。 Presto终结了数据分析的两难选择，要么使用速度快的昂贵的商业方案，要么使用消耗大量硬件的慢速的“免费”方案。

谁在使用它？

Facebook使用Presto进行交互式查询，用于多个内部数据存储，包括300PB的数据仓库。 每天有1000多名Facebook员工使用Presto，执行查询次数超过30000次，扫描数据总量超过1PB。

领先的互联网公司包括Airbnb和Dropbox都在使用Presto。

 

2. Presto 结构

  Presto同样是需要部署到每一个DataNode上的分布式系统，它包括一个coordinator和多个worker： 
Presto结构

  • Coordinator: 接入接口，解析SQL语句，生成查询计划，任务分发等。
  • Worker：负责与数据的读写交互以及执行查询计划

  值得一提的是Presto以插件形式对数据存储层进行了抽象，它叫做连接器，如：Cassandra Connector，Hive Connector，MySQL Connector等，可以看出它不仅默认提供了Hadoop相关组件的连接器，还提供了Mysql， Postgresql等RDBMS的连接器，同时也可以方便的通过自定义连接器开发，达到适用于不同数据存储层的扩展目的。

  Presto提供以下几种类型的使用接口：

  • Presto命令行
  • JDBC驱动

3. Presto安装

  Presto只支持Linux系统的部署。它的Worker节点同时也可以作为Coordinator节点，但是Presto建议独立部署Coordinator节点，并采用独立服务器进行部署，避免性能影响。 
  本文的测试环境为基于CDH 5.5的Hadoop集群环境的安装和测试。Presto 版本：0.152.3. Presto 的安装JDK版本必须要求：1.8. 安全方式为独立Coordinator节点+Worker节点的方式

 1. 解压Presto到每一台Worker节点和Coordinator节点

 tar -xzvf presto-server-0.152.3.tar.gz
  • 1

 2. 配置node.properties 
   node.properties包含了Presto的节点配置信息，在解压后目录的 etc/node.properties位置。，如：

node.environment=myprestoproduction #全部相同的集群名字，经测试不能大小写混合
node.id=ffffffff-ffff-ffff-ffff-fffffffffff1 #这个每个presto节点ID都需要不一样，可在后面数字递增
node.data-dir=/usr/local/presto-server-0.152.3/data  #presto数据存储目录，放在了解压软件目录下
  • 1
  • 2
  • 3

 3. 配置jvm.config 
  jvm.config这个配置文件通过名字，大家应该知道是配置什么了吧。内容如下：

-server
-Xmx8G
-XX:+UseG1GC
-XX:G1HeapRegionSize=32M
-XX:+UseGCOverheadLimit
-XX:+ExplicitGCInvokesConcurrent
-XX:+HeapDumpOnOutOfMemoryError
-XX:OnOutOfMemoryError=kill -9 %p
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8

 4. Presto配置：config.properties 
  config.properties配置文件用于配置Presto的运行参数，这里Coordinator与Workder节点需要分开配置不同的内容。 
  Coordinator节点配置：

coordinator=true  #这里指定作为coordinator节点运行
node-scheduler.include-coordinator=false
http-server.http.port=8089
query.max-memory=50GB #单个查询可用的总内存
query.max-memory-per-node=1GB #单个查询单个节点的可用最大内存
discovery-server.enabled=true #Discovery服务用于Presto集群的节点状态服务
discovery.uri=http://master:8089
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7

  Worker节点配置：

coordinator=false
http-server.http.port=8089
query.max-memory=50GB
query.max-memory-per-node=1GB
discovery.uri=http://master:8089
  • 1
  • 2
  • 3
  • 4
  • 5
  • 至此就可以正常启动Presto了。但是没有配置任何Connector的Presto也只能拿来看一看了，所以下面还是先把Hive Connector配置好。

 5. 预先配置好Hive Connector 
  新建好文件： etc/catalog/hive.properties，内容为：

connector.name=hive-cdh5 # 根据Hadoop版本情况，值可以是： hive-hadoop1, hive-hadoop2,hive-cdh4,hive-cdh5
hive.metastore.uri=thrift://master:9083 # hive的MetaStore服务URL
hive.config.resources=/etc/hadoop/conf/core-site.xml,/etc/hadoop/conf/hdfs-site.xml
  • 1
  • 2
  • 3

 6. 启动Presto 
  经过这么多的配置，终于可以到了启动Presto这一步，这一步就简单了，直接在每一个节点上执行启动命令即可：

bin/launcher start
  • 1
  • 值得注意的是， CDH安装的JDK版本为1.7，而Presto要求的版本是1.8.因此需要更改launcher文件，在前面增加JAVA环境变量设置，覆盖默认的1.7设置。

 7. 连接到Presto 
  使用命令行连接到Presto： 
  可是怎会如此轻松就能让你连上去，你得下载一个文件：presto-cli-0.156-executable.jar，然后重命名为presto,并增加可执行权限(chmod +x)，后可以执行连接命令：

./presto --server master:8089

presto:default> SELECT * FROM system.runtime.nodes;
               node_id                |         http_uri          | node_version | coordinator | state  
--------------------------------------+---------------------------+--------------+-------------+--------
 ffffffff-ffff-ffff-ffff-fffffffffff2 | http://192.168.5.202:8089 | 0.152.3      | false       | active 
 ffffffff-ffff-ffff-ffff-fffffffffff1 | http://192.168.5.200:8089 | 0.152.3      | true        | active 
 ffffffff-ffff-ffff-ffff-fffffffffff3 | http://192.168.5.203:8089 | 0.152.3      | false       | active 
 ffffffff-ffff-ffff-ffff-fffffffffff4 | http://192.168.5.204:8089 | 0.152.3      | false       | active
(4 rows)

Query 20161108_101627_00016_3i6da, FINISHED, 2 nodes
Splits: 2 total, 2 done (100.00%)
0:00 [4 rows, 300B] [9 rows/s, 727B/s]
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15

  system连接器是Presto自带的连接器，不需要配置。包含Presto的节点信息，配置信息以及metrics信息等。

5. 使用Presto查询HIVE表数据

 1. 使用命令行连接到Presto，并指定使用HIVE连接器：

./presto-cli-0.107-jd-executable.jar --server master:8089 --catalog hive --schema default
#指定默认连接到HIVE的default数据库
  • 1
  • 2

 2. 查询HIVE表数据，接下来就可以使用标准SQL查询HIVE数据，如:

presto:default> desc sample_08;
   Column    |  Type   | Comment 
-------------+---------+---------
 code        | varchar |         
 description | varchar |         
 total_emp   | integer |         
 salary      | integer |         
(4 rows)

Query 20161108_145619_00028_3i6da, FINISHED, 2 nodes
Splits: 2 total, 2 done (100.00%)
0:00 [4 rows, 258B] [11 rows/s, 726B/s]

presto:default> select * from sample_08 limit 3;
  code   |      description       | total_emp | salary 
---------+------------------------+-----------+--------
 00-0000 | All Occupations        | 135185230 |  42270 
 11-0000 | Management occupations |   6152650 | 100310 
 11-1011 | Chief executives       |    301930 | 160440 
(3 rows)

Query 20161108_145632_00029_3i6da, FINISHED, 2 nodes
Splits: 2 total, 2 done (100.00%)
0:02 [823 rows, 45KB] [439 rows/s, 24KB/s]

 

  •  
  • 12
  • 13
  • 14

6. 问题

 1. 在使用Presto查询Parquet格式中的Decimal数据类型时会出现异常，需要手动转换:

presto:default> desc test_decimal;
  Column  |     Type      | Comment 
----------+---------------+---------
 dec_col  | decimal(2,0)  |        
(1 rows)

Query 20161108_151431_00066_3i6da, FINISHED, 2 nodes
Splits: 2 total, 2 done (100.00%)
0:00 [5 rows, 358B] [14 rows/s, 1.02KB/s]

presto:default> select dec_col from test_decimal limit 1;
Query is gone (server restarted?)  #这儿产生异常了
presto:default> select cast(dec_col as integer) from test_decimal limit 1;
 _col0 
-------
     1 
(1 row)

Query 20161108_151456_00068_3i6da, FINISHED, 1 node
Splits: 2 total, 2 done (100.00%)
0:00 [7.28K rows, 118KB] [19.5K rows/s, 314KB/s]

 2. 另外一个就是Presto的异常信息太简结了，很多都是Query is gone，很不好排查，如：

presto:default> explain select * from sample_08;
Query is gone (server restarted?)

 3. 兼容性问题，比如：

presto:default> select * from sample_tabpart limit 10;
Query 20161109_031436_00013_3i6da failed: Unsupported Hive type char(4) found in partition keys of table default.sample_tabpart
# 不支持以CHAR为类型的分区KEY

7. 最后

  Facebook presto虽然发展时间不长，版本也还不高，但当前版本在功能上已比较丰富，而且在查询效率上已达到了近乎实时的要求，且非常灵活。Presto将会成为实时查询工具上的一个重要选择。

转：http://blog.csdn.net/hezh914/article/details/53097853

富的只剩下代码
关注
专栏目录
facebook presto安装
egraldloi的专栏
11-09 2348
presto最好是用一个专门存储data的目录，这个目录存储log和local metadata，独立开来的data目录有利于更新 配置presto
PrestoDB 来自Facebook的开源分布式查询引擎
linuxheik的专栏
07-05 1003
PrestoDB 来自Facebook的开源分布式查询引擎 Presto是一个分布式SQL查询引擎， 它被设计为用来专门进行高速、实时的数据分析。它支持标准的ANSI SQL，包括复杂查询、聚合（aggregation）、连接（join）和窗口函数（window functions)。下图中展现了简化的Presto系统架构。客户端（client）将SQL查询发送到Presto的协调员 （
实时OLAP（六）Facebook Presto connector Apache Pinot 打造实时OLAP系统
阳仔的博客
10-29 402
感谢uber开源了presto pinot connector Download and build Pinot: git clone https://github.com/apache/incubator-pinot.git cd incubator-pinot/ git checkout tags/release-0.1.0 mvn install package -DskipTest...
大数据实时查询-Presto集群部署搭建
高广超的博客
10-11 1957
Presto介绍 Presto是一个分布式SQL查询引擎， 它被设计为用来专门进行高速、实时的数据分析。它支持标准的ANSI SQL，包括复杂查询、聚合（aggregation）、连接（join）和窗口函数（window functions)。Presto的运行模型和Hive或MapReduce有着本质的区别。Hive将查询翻译成多阶段的MapReduce...
presto-facebook
11-30
Presto是Facebook开发的一个开源的分布式SQL查询引擎，适用于快速分析大型数据集。2015年10月6日，在波士顿举办的一次交流会上，Martin Traverso和Dain Sundstrom两位工程师对Presto在Facebook的应用情况进行了详细...
Facebook Presto 研究与性能测试v2.3.docx
09-03
无论是对于实时查询还是数据分析，Presto都能够提供快速、高效的支持。然而，也需要注意到它的一些局限性，比如缺乏有效的容错机制和对内存的依赖性，这些因素在特定的应用场景下可能会成为瓶颈。
深入浅出：Presto查询引擎全解析
fudaihb的博客
11-30 2338
在大数据时代，企业和组织积累了海量的数据。为了从这些数据中提取有价值的信息，需要使用高效的数据查询工具。Presto是一个开源的分布式SQL查询引擎，专为高速大数据分析设计。本文将详细介绍Presto的工作原理、架构、特性以及如何在实际场景中使用它。
Presto介绍、原理、安装使用
02-27
Presto作为一款高性能的分布式SQL查询引擎，在大数据领域有着广泛的应用。它不仅支持多种数据源，还提供了低延迟、高可扩展性的特性，是进行大规模数据处理和分析的理想选择。通过对Presto的基本概念、架构原理以及...
Presto Facebook 开源的大数据查询引擎
yueguanyun的专栏
02-06 968
转自：http://www.oschina.net/news/81621/presto-0-165 Presto Facebook 开源的大数据查询引擎 Presto 0.165 发布了，Presto 是 Facebook 开源的数据查询引擎，可对250PB以上的数据进行快速地交互式分析，查询的速度达到商业数据仓库的级别。据称该引擎的性能是 Hive 的 10 倍以上。 Pr
Presto 与 Hive 语法学习
weixin_45866849的博客
04-09 5116
Presto 与 Hive 语法学习 文章目录Presto 与 Hive 语法学习1. Presto语法1.1 数据类型布尔值整数浮点固定精度字符串日期和时间结构网络地址UUIDHyperLogLogKHyperLogLog1.2 SQL 语句语法ALTER FUNCTION --改变函数ALTER SCHEMA --改变模式ALTER TABLE --改变表ANALYZE --分析CALL -- 调用过程COMMIT -- 提交CREATE FUNCTION -- 创建函数CREATE ROLE --创
Presto简介、部署、原理和使用介绍
最新发布
wt334502157的博客
02-28 6176
​ Presto是由Facebook开发的一款开源的分布式SQL查询引擎，最初于2012年发布，并在2013年成为Apache项目的一部分；Presto 作为现在在企业中流行使用的即席查询框架，已经在不同的领域得到了越来越多的应用。Presto官方网站：https://prestosql.io/​ Presto被广泛用作即席查询引擎，用户可以使用标准的SQL语句向Presto提交查询，并且能够在几秒钟或更短的时间内获取结果。
presto 基本概念和架构
一蓑烟雨
03-09 2111
Presto是一款Facebook开源的MPP架构的OLAP查询引擎，可针对不同数据源执行大容量数据集的一款分布式SQL执行引擎。因为工作中接触到Presto，研究它对理解SQL Parser、常见算子的实现（如SQL中table scan,join,aggregation）、资源管理与调度、查询优化（如向量化执行、动态代码生成）、大数据下各个组件为何适用不同场景等等都有帮助。我希望通过这个系列可以了解一条SQL在大数据场景下该如何高效执行。233酱准备不定时持续更新这个系列，本文主要从Presto的使用举
Presto从入门到精通以及案例实操系列
prefect_start的博客
05-29 1268
Presto最初由Facebook公司开发，旨在解决Facebook内部大规模数据处理和数据分析的问题。在传统的Hadoop生态圈中，MapReduce作为数据处理框架，虽然能够处理海量数据，但是其查询性能却比较低下，尤其是对于需要进行交互式查询（如数据探索、数据挖掘等）的应用场景，更是不够灵活。为了解决这一问题，Facebook团队在2012年开始开发Presto，其目标是建立一个高性能、可扩展、支持SQL查询语言的跨平台数据处理引擎，以适应Facebook内部不断增长的数据规模和业务需求。
presto引擎简介
hzp666的博客
02-10 2222
是Facebook开源的，完全基于内存的并⾏计算，分布式SQL交互式查询引擎 是一种Massively parallelprocessing(MPP)架构，多个节点管道式执⾏ ⽀持任意数据源（通过扩展式Connector组件），数据规模GB~PB级 使用的技术，如向量计算，动态编译执⾏计划，优化的ORC和Parquet Reader等 presto不太支持存储过程，支持部分标准sql presto的查询速度比hive快5-10倍 上面讲述了presto是什么，查询速度，现在来看看presto..
Hive与Presto的基本数据类型对照表
x²＋(y－√³x²)²＝1的博客
07-02 1744
数据类型对照表 hive presto 备注 tinyint tinyint smallint smallint int integer bigint bigint boolean boolean float real double double string varchar binary varbinary 从Hive0.8.0开始支持 timestamp 从Hive0.8.0开始支持 decimal decimal 从Hive0.
一些presto语句记录
zz_1111的博客
12-17 4344
1、找出时间大于2018-12-17的所有内容 select * from table where "time" > date('2018-12-17')  与关系型数据库不同的是完全不同类型的不可以比较，类似的才可以比较，关系型数据库的 2、针对完全不同类型的进行比较，也可以使用cast函数，用法：cast(value as type) 比如      select * from ...
Presto的介绍、使用和原理架构
迷雾总会解
06-15 8610
Presto是一款Facebook开源的MPP架构的OLAP查询引擎，可针对不同数据源执行大容量数据集的一款分布式SQL执行引擎，数据量支持GB到PB字节，主要用来处理秒级查询的场景。Presto 本身并不存储数据，，但是可以接入多种数据源，并且支持跨数据源的级联查询，而且基于内存运算，速度很快，实时性高。注意：虽然Presto可以解析SQL，但它不是一个标准的数据库。不是MySQL、Oracle的代替品，也不能用来处理在线事务 (OLTP)。适合：PB级海量数据复杂分析，交互式SQL。
presto的坑
yyoc97的专栏
01-03 2470
presto采坑日记 异常：Query is gone (server restarted?) 安装下载presto客户端命令行接口。如果在中文网址下载http://prestodb-china.com/docs/current/installation/cli.html。很多查询会出现Query is gone (server restarted?)错误。所以我们要从英文官网下载：htt
Presto：Facebook的分布式查询引擎详解与搭建
"Presto是一种由Facebook开发的开源分布式SQL查询引擎，专为低延迟、高并发的交互式分析设计。它支持OLAP（在线分析处理）操作，并能跨多个数据源级联，处理PB级别的大数据。Presto基于Java 8构建，采用内存计算优化...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值