Presto 安装配置

已于 2022-07-15 22:54:30 修改
阅读量917 收藏 2
点赞数 1
分类专栏： BigData-tools 文章标签： 前端 java 数据库
于 2021-01-05 21:19:49 首次发布
wudl
本文链接：https://blog.csdn.net/wudonglianga/article/details/112252633
版权

1.Presto简介：

1.presto是一个开源的分布式SQL查询引擎，适用于交互式分析查询，数据量支持GB到PB字节。
2.presto的设计和编写完全是为了解决像Facebook这样规模的商业数据仓库的交互式分析和处理速度的问题。
3.主要用来处理秒级查询场景。

下入在官网：
https://prestodb.io/overview.html
在这里插入图片描述

2.Presto 架构

在这里插入图片描述
详细的架构图
在这里插入图片描述

3.presto 安装部署

部署规划：

名称服务器ip角色
master01192.168.1.151Coordinator
master02192.168.1.152presto Worker
slave01192.168.1.153presto Worker

3.1 需要的文件：

presto-server-0.245.tar.gz 下载地址:;
https://repo1.maven.org/maven2/com/facebook/presto/presto-server/
presto-cli-0.223.1.jar
下载地址：https://repo1.maven.org/maven2/com/facebook/presto/presto-cli/

3.2 下载后上传服务器：

1.presto-server-0.245.tar.gz    presto-cli-0.223.1.jar
2.解压： tar -zxvf  presto-server-0.245.tar.gz
3.在 cd   /home/presto/presto-server-0.245  中创建etc 文件夹  mkdir  etc
4. 在/home/presto/presto-server-0.245/etc 下面创建文件：
5.   config.properties  jvm.config  log.properties  node.properties
6. 创建存储的文件夹：
7. mkdir -p /home/presto/presto-datadir
7.在etc 下面创建三个文件 :
config.properties  jvm.config  log.properties  node.properties

8.编辑文件vim jvm.config

-server
-Xmx16G
-XX:+UseG1GC
-XX:G1HeapRegionSize=32M
-XX:+UseGCOverheadLimit
-XX:+ExplicitGCInvokesConcurrent
-XX:+HeapDumpOnOutOfMemoryError
-XX:+ExitOnOutOfMemoryError
-DHADOOP_USER_NAME=hdfs


  9. 编辑文件vim config.properties

coordinator=true
node-scheduler.include-coordinator=false
http-server.http.port=10008
query.max-memory=50GB
query.max-memory-per-node=1GB
query.max-total-memory-per-node=2GB
discovery-server.enabled=true
discovery.uri=http://192.168.1.151:10058


10.编辑vi log.properties

com.facebook.presto=INFO

11.编辑文件：vi node.properties

node.environment=production
node.id=master01
node.data-dir=/home/presto/presto-datadir

12.	 在/home/presto/presto-server-0.245/etc 下面创建catalog 文件夹 并且创建文件
 创建  hive.properties 并且编辑

[root@master01 etc]# pwd
/home/presto/presto-server-0.245/etc
[root@master01 etc]# cd catalog/
[root@master01 catalog]# ll
总用量 8
-rw-r--r-- 1 root root 181 1月  28 00:45 hive.properties
-rw-r--r-- 1 root root  20 1月  28 00:45 jmx.properties
[root@master01 catalog]# vi hive.properties
connector.name=hive-hadoop2
hive.metastore.uri=thrift://master02.pxx.com:9083
hive.config.resources=/etc/hadoop/3.1.4.0-315/0/core-site.xml,/etc/hadoop/3.1.4.0-315/0/hdfs-site.xml

12.2  在/home/presto/presto-server-0.245/etc/目录下面创建 	catalog/ 创建文件 jmx.properties

[root@master01 etc]# pwd
/home/presto/presto-server-0.245/etc
[root@master01 etc]# cd catalog/
[root@master01 catalog]# ll
总用量 8
-rw-r--r-- 1 root root 181 1月  28 00:45 hive.properties
-rw-r--r-- 1 root root  20 1月  28 00:45 jmx.properties
[root@master01 catalog]# vi jmx.properties 

connector.name=jmx

3.3 将该文件分发到其他机器

1.发送master02机器    scp -r /home/presto/presto-server-0.245/ root@master02.com:/home/presto/
2.发送slave01机器  scp -r /home/presto/presto-server-0.245/ root@slave01.com:/home/presto/

3.4 需要 修改的文

3.4.1master02 机器需要修改的第一个文件：
master02 机器需要修改的第一个文件：
在这个路径下面：/home/presto/presto-server-0.245/etc
[root@master02 etc]# ls
catalog  config.properties  jvm.config  log.properties  node.properties
编辑文件 vim node.properties  主要配置node.id 配置不一样
node.environment=production
node.id=master02
node.data-dir=/home/presto/presto-datadir
3.4.2 master02 机器需要修改的第二个文件：

路径：/home/presto/presto-server-0.245/etc/

编辑文件
[root@master02 etc]# vi config.properties
coordinator=false    # 注释掉表示不是coordinator
#node-scheduler.include-coordinator=false  # 注释掉表示不是coordinator
http-server.http.port=10008
query.max-memory=50GB
query.max-memory-per-node=1GB
query.max-total-memory-per-node=2GB
#discovery-server.enabled=true   #  注释掉
discovery.uri=http://192.168.1.151:10058
3.4.3 Slave01 机器需要修改的第一个文件：提示主要修改id 不能重复
路径：	/home/presto/presto-server-0.245/etc
[root@master02 etc]# vi node.properties 
node.environment=production
node.id=master03
node.data-dir=/home/presto/presto-datadir
3.44 Slave01 机器需要修改的第二个文件

路径：/home/presto/presto-server-0.245/etc

  编辑文件
[root@slave01 etc]# vi config.properties
coordinator=false    # 注释掉表示不是coordinator
#node-scheduler.include-coordinator=false  # 注释掉表示不是coordinator
http-server.http.port=10008
query.max-memory=50GB
query.max-memory-per-node=1GB
query.max-total-memory-per-node=2GB
#discovery-server.enabled=true   #  注释掉
discovery.uri=http://192.168.1.151:10058

3.5 首先要启动hive 的Hive Metastore 服务：

 nohup bin/hive --service metastore >/dev/null 2>&1 &

3.6 首先要启动master01,master02,slave01 机器上的presto service 服务

1.前台启动
[root@master01 presto]$ bin/launcher run
[root@master02 presto]$ bin/launcher run
[root@slave01 presto]$ bin/launcher run
2.后台启动
[root@master01 presto]$ bin/launcher start
[root@master02 presto]$ bin/launcher start
[root@slave01 presto]$ bin/launcher start
3. 日志位置：/home/presto/presto-datadir/var/log
4. tail -f  /home/presto/presto-datadir/var/log/server.log

访问服务端：http://192.168.1.151:10058/ui/
在这里插入图片描述

4. 启动presto client 客户端

查询命令：./prestocli --server 192.168.1.151:10058 --catalog hive --schema db_wudl;

4.1 下载客户端 --> presto-cli-0.223.1.jar

1.地址：https://repo1.maven.org/maven2/com/facebook/presto/presto-cli/
2.修改名称
[root@master01 opt]#  mv  presto-cli-0.223.1.jar   prestocli
3.赋值权限
[root@master01 opt]#   chmod +x prestocli
4.启动：prestocli
[root@master01 opt]# ./prestocli --server 192.168.1.151:10058 --catalog hive --schema db_wudl;
presto:db_wudl> show tables;
可以看到你建的表表示成功：

5.遇到的问题：

  启动客户端的时候 会出现乱码情况，原因是客户端的版本太高，可以换成低版本的presto-cli
  错误如下：

在这里插入图片描述

6. 还会遇到一个错误：

查询的时候会遇到lzo 压缩问题：
错入如下：
Query 20210106_113208_00005_s5r85 failed: Unable to create input format com.hadoop.mapred.DeprecatedLzoTextInputFormat

这时候需要将 hadoop-lzo-0.4.20.jar 加入到presto service 中
hadoop-lzo-0.4.20.jar 下载
路径：/home/presto/presto-server-0.245/plugin/hive-hadoop2
重启服务就可以了

7.presto 的web 安装：

简介：

yanagishima 是presto的一个客户端web工具，目前支持相对较好，部署一下。

7.1 编译过程略

7.2 主要的配置文件

注意：

注意一定要在这个目录下新建一个空的hive_setup_query_your-hive文件
解压：
unzip yanagishima-18.0.zip
vi /opt/software/yanagishima-18.0/conf/yanagishima.properties
# yanagishima web port
jetty.port=38080
# 30 minutes. If presto query exceeds this time, yanagishima cancel the query.
presto.query.max-run-time-seconds=1800
# 1GB. If presto query result file size exceeds this value, yanagishima cancel the query.
presto.max-result-file-byte-size=1073741824
presto.datasources=pxx-presto
auth.your-presto=false
# presto coordinator url
presto.coordinator.server.pxx-presto=http://master01.pxx.com:10008
# almost same as presto coordinator url. If you use reverse proxy, specify it
presto.redirect.server.pxx-presto=http://master01.pxx.com:10008
# presto catalog name
catalog.pxx-presto=hive
# presto schema name
schema.pxx-presto=default
# if query result exceeds this limit, to show rest of result is skipped
select.limit=500
# http header name for audit log
audit.http.header.name=some.auth.header
use.audit.http.header.name=false
# limit to convert from tsv to values query
to.values.query.limit=500
# authorization feature
check.datasource=false
hive.jdbc.url.pxx-hive=jdbc:hive2://master02.pxx.com:10000/default;auth=noSasl
hive.jdbc.user.pxx-hive=hive
hive.jdbc.password.pxx-hive=hive
hive.query.max-run-time-seconds=3600
hive.query.max-run-time-seconds.your-hive=3600
resource.manager.url.pxx-hive=http://master01.pxx.com:8088
sql.query.engines=presto,hive
hive.datasources=your-hive
hive.disallowed.keywords.your-hive=insert,drop
# 1GB. If hive query result file size exceeds this value, yanagishima cancel the query.
hive.max-result-file-byte-size=1073741824
# 注意一定要在这个目录下新建一个空的hive_setup_query_your-hive文件
hive.setup.query.path.your-hive=/opt/software/yanagishima-18.0/conf/hive_setup_query_pxx-hive
cors.enabled=false

7.3 启动停止

启动
nohup bin/yanagishima-start.sh >y.log 2>&1 &
停止：
/opt/software/yanagishima-18.0/bin/yanagishima-shutdown.sh

7.4 web 访问页面：

第一次加载比较慢需要等一会

http://master01.com:38080/

在这里插入图片描述

wudl5566
关注
  • 1
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
presto热加载catalog配置
xiaoping_1988的博客
12-28 3147
presto启动从远程获取catalog配置做加载 启动类Server的代码变更 try { Injector injector = app.strictConfig().initialize(); logLocation(log, "Working directory", Paths.get(".")); logLocation(log, "Etc directory", Paths.get("etc"));
Presto源码解读----Presto如何加载catalog信息
xiaoping_1988的博客
12-22 1609
presto加载catalog的逻辑 presto启动入口 模块：presto-server-main 类及方法：io.prestosql.server.PrestoServer.main(String[] args) 代码片段： public final class PrestoServer { private PrestoServer() {} public static void main(String[] args) { String javaVersio
Presto【部署 01】Presto服务安装配置启动验证及客户端web工具Yanagishima安装配置验证（详细配置说明+Yanagishima已编译文件分享
最新发布
2401_84591930的博客
05-14 589
### 1.4 验证前端验证 `http://tcloud:8883` ：![在这里插入图片描述](https://img-blog.csdnimg.cn/8facf8440ac6496aa31103f924ec485a.png#pic_center)### 2. Yanagishima安装配置网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。需要这份系统化资料的朋友，可以戳这里获取。
Presto【环境搭建 01】Presto服务安装配置启动验证及客户端web工具Yanagishima安装配置验证（详细配置说明+Yanagishima已编译文件分享）
シ風
12-07 1996
Presto服务安装配置启动验证及客户端web工具Yanagishima安装配置验证（详细配置说明+Yanagishima已编译文件分享）
presto热加载
09-06
presto热加载catalog下的配置，无须重启presto，实时更新配置
presto资源组配置
05-11
Presto 资源组配置知识点 Presto 资源组配置是 Presto 的一个重要组件，用于管理和分配资源，以满足不同的业务需求。在本节中，我们将详细介绍 Presto 资源组配置的各个方面，包括配置文件、资源组、软限制、硬限制...
presto-admin:安装，配置和管理Presto安装的工具
05-14
管理员 presto-admin安装，配置和管理Presto安装。 完整的文档可以在找到。要求Python 2.6或2.7 （如果要运行系统测试，则仅对于开发是必需的） 如果尚未安装Docker，则可以在该项目的bin目录中运行install-docker....
Presto介绍、原理、安装使用
02-27
### Presto介绍、原理、安装使用 #### 一、Presto介绍 Presto是一款高性能的开源分布式SQL查询引擎，适用于对大规模数据集进行快速分析。它支持多种数据源，如Hive、Cassandra、PostgreSQL、Kafka、MySQL、Elastic...
Linux Tableau Server Presto ODBC驱动配置问题
04-01
### Linux环境下Tableau Server Presto ODBC驱动配置详解 #### 一、背景介绍 在Linux环境中，使用Tableau Server连接Presto数据源时，往往需要通过ODBC（Open Database Connectivity）驱动来实现数据访问。然而，在...
【大数据】Presto（Trino）SQL 语法进阶
匠人精神，持之以恒！
05-17 3466
Presto（Trino）是一个快速、分布式的SQL查询引擎，可以用于查询各种数据源，包括Hadoop、NoSQL、关系型数据库等。下面是Presto（Trino）SQL语法的概述：SELECT：用于从一个或多个表中检索数据，指定所需的列和过滤条件。FROM：用于指定要查询的表名、子查询或视图，这些源可能跨越数据库和表格。JOIN：用于将两个或多个表格中的列连接到单个结果集中。WHERE：用于指定WHERE子句中定义的条件，以从原始数据集中筛选数据。GROUP BY：用于根据一个或多个列对结果集进行分组。
Presto
liuli
04-01 180
Presto安装配置（初学） 一、Presto简介 1、PRESTO是什么？ Presto是一个开源的分布式SQL查询引擎，适用于交互式分析查询，数据量支持GB到PB字节。 Presto的设计和编写完全是为了解决像Facebook这样规模的商业数据仓库的交互式分析和处理速度的问题。 2、它可以做什么？ Presto支持在线数据查询，包括Hive, Cassandra, 关系数据库以及专有数据存储。...
presto安装配置文档
qq_42016966的博客
01-23 450
参考网址：https://blog.csdn.net/qq595662096/article/details/88077211 Presto的安装非常的简单，集成的是hive，也就是利用hive的元数据信息来处理，直接上步骤 （推荐看博客的同事一定要看看官网的信息，presto还在孵化的阶段，可能随着时间的推移改动比较大，所以强烈推荐看官网） 1.下载presto： 官网地址： https://prestodb.github.io/ 下载地址页面： https://prestodb.github.io/do
presto 查询hive facebook.presto.spi.PrestoException: ....hadoop.mapred.TextInputFormat
06-15 999
om.facebook.presto.spi.PrestoException: Unable to create input format org.apache.hadoop.mapred.TextInputFormat at com.facebook.presto.hive.HiveUtil.getInputFormat(HiveUtil.java:331) at com.facebook.presto.hive.StoragePartitionLoader.loadPartition(Storage
presto中的名词
weixin_33749242的博客
09-19 174
2019独角兽企业重金招聘Python工程师标准>>> ...
Presto在车好多的实践
过往记忆大数据
12-18 5630
本文作者：车好多大数据OLAP团队-王培Presto 简介1.简介Presto 最初是由 Facebook 开发的一个分布式 SQL 执行引擎， 它被设计为用来专门进行高速、实时的数据分...
Presto概述
qq_27639777的博客
06-22 463
文章目录基础架构Coordinator服务Worker服务Presto模型ConnectorCatalogSchemaTablePresto查询执行模型StatementQueryStageExchangeTaskDriverOperatorSplitPage 基础架构 Presto是Facebook开源的MPP架构的OLAP查询引擎，可对从数G到数P的大数据进行交互式的查询，查询性能是Hive的10倍以上。Presto查询引擎是一个Master-Slave的架构，其架构图如下： 由架构图可以看出，Pre
使用presto+airpal+hive打造即席查询工具
热门推荐
木东居士
08-05 1万+
0X01 前言即席查询怎么做、怎么选型！这次用的是presto来做尝试。缘起公司是Impala的深度用户，我主要负责Impala的各方面的工作，最近因为一些特殊原因需要对现有的体系进行一些调整，需要做出来即席查询的组件，在spark sql、impala、dril、impala之间做了一些调研后，暂时决定使用presto来做一些尝试。原因有下面几个： 没有和cdh绑定那么深，用起来比较简单。 可以同
Superset 连接 Presto 的正确姿势
afunyusong的专栏
12-26 5038
不正确姿势在SqlLab中会出现如下问题： argument of type 'NoneType' is not iterable 正确姿势是： presto://hive@localhost:port/presto_catalog_name>/hive_db_name> 前边都好理解，最主要是后边两个参数，presto_catalog_name 和 hive_db_name h
presto如何使用安装及配置
05-20
下面是Presto的安装和配置步骤： 1. 下载Presto：去Presto官网下载最新版本的Presto安装包。 2. 解压Presto：将下载的Presto安装包解压到你想要安装它的目录下。 3. 配置Presto：在解压后的目录中，打开etc文件夹...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值