Presto安装配置

于 2024-07-11 21:17:51 发布
阅读量1.4k 收藏 24
点赞数 31
文章标签： 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/xqiiii/article/details/140362243
版权

一、Presto安装配置

  • 集群规划（一主两从集群）

    hadoop01hadoop02
    主coordinatoryesno
    从workeryesyes

  • java8版本安装

    #可以手动安装oracle JDK

#也可以使用yum在线安装 openjDK
yum install java-1.8.0-openjdk* -y

#安装完成后，查看jdk版本：
java -version

  • 上传解压Presto安装包

    #创建安装目录
mkdir -p /export/server

#yum安装上传文件插件lrzsz
yum install -y lrzsz

#上传安装包到hadoop01的/export/server目录
presto-server-0.245.1.tar.gz

#解压、重命名
tar -xzvf presto-server-0.245.1.tar.gz
mv presto-server-0.245.1 presto

#创建配置文件存储目录
mkdir -p /export/server/presto/etc

  • 添加配置文件

    • hadoop01配置

      • etc/config.properties

        cd /export/server/presto

vim etc/config.properties

#---------添加如下内容
coordinator=true
node-scheduler.include-coordinator=true
http-server.http.port=8090
query.max-memory=6GB
query.max-memory-per-node=2GB
query.max-total-memory-per-node=2GB
discovery-server.enabled=true
discovery.uri=http://192.168.88.80:8090
#---------end

#参数说明
coordinator:是否为coordinator节点，注意worker节点需要写false
node-scheduler.include-coordinator:coordinator在调度时是否也作为worker
discovery-server.enabled:Discovery服务开启功能。presto通过该服务来找到集群中所有的节点。每一个Presto实例都会在启动的时候将自己注册到discovery服务；  注意：worker节点不需要配 
discovery.uri:Discovery server的URI。由于启用了Presto coordinator内嵌的Discovery服务，因此这个uri就是Presto coordinator的uri。

      • etc/jvm.config

        vim etc/jvm.config

-server
-Xmx3G
-XX:+UseG1GC
-XX:G1HeapRegionSize=32M
-XX:+UseGCOverheadLimit
-XX:+ExplicitGCInvokesConcurrent
-XX:+HeapDumpOnOutOfMemoryError
-XX:+ExitOnOutOfMemoryError

      • etc/node.properties

        mkdir -p /export/data/presto
vim etc/node.properties

node.environment=cdhpresto
node.id=presto-cdh01
node.data-dir=/export/data/presto

      • etc/catalog/hive.properties

        mkdir -p etc/catalog
vim etc/catalog/hive.properties

connector.name=hive-hadoop2
hive.metastore.uri=thrift://192.168.88.80:9083

  • scp安装包到其他节点

    #在hadoop02创建文件夹
mkdir -p /export/server

#在hadoop01远程cp安装包
cd /export/server
scp -r presto hadoop02:$PWD

#ssh的时候如果没有配置免密登录 需要输入密码scp  密码：123456

  • hadoop02配置修改

    • etc/config.properties

      cd /export/server/presto
vim etc/config.properties

#----删除之前的内容 替换为以下的内容
coordinator=false
http-server.http.port=8090
query.max-memory=6GB
query.max-memory-per-node=2GB
query.max-total-memory-per-node=2GB
discovery.uri=http://192.168.88.80:8090

    • etc/jvm.config

      和coordinator保持一样，不需要修改

      vim etc/jvm.config

-server
-Xmx3G
-XX:+UseG1GC
-XX:G1HeapRegionSize=32M
-XX:+UseGCOverheadLimit
-XX:+ExplicitGCInvokesConcurrent
-XX:+HeapDumpOnOutOfMemoryError
-XX:+ExitOnOutOfMemoryError

    • etc/node.properties

      mkdir -p /export/data/presto
vim etc/node.properties

node.environment=cdhpresto
node.id=presto-cdh02
node.data-dir=/export/data/presto

    • etc/catalog/hive.properties

      vim etc/catalog/hive.properties

connector.name=hive-hadoop2
hive.metastore.uri=thrift://192.168.88.80:9083

二、Presto服务启停

注意，每台机器都需要启动

  • 前台启动

    [root@hadoop01 ~]# cd ~
[root@hadoop01 ~]# /export/server/presto/bin/launcher run


[root@hadoop02 ~]# cd ~
[root@hadoop02 ~]# /export/server/presto/bin/launcher run


#如果出现下面的提示 表示启动成功
2021-09-15T18:24:21.780+0800    INFO    main    com.facebook.presto.server.PrestoServer ======== SERVER STARTED ========

#前台启动使用ctrl+c进行服务关闭

  • 后台启动

    [root@hadoop01 ~]# cd ~
[root@hadoop01 ~]# /export/server/presto/bin/launcher start
Started as 89560

[root@hadoop02 ~]# cd ~
[root@hadoop02 ~]# /export/server/presto/bin/launcher start
Started as 92288


#查看进程是否启动成功
PrestoServer

#后台启动使用jps 配合kill -9命令 关闭进程

  • web UI页面

    http://192.168.88.80:8090/ui/

  • 启动日志

    #日志路径：/export/data/presto/var/log/

http-request.log
launcher.log
server.log

三、Presto CLI命令行客户端

  • 下载CLI客户端

    presto-cli-0.241-executable.jar

  • 上传客户端到Presto安装包

    #上传presto-cli-0.245.1-executable.jar到/export/server/presto/bin

mv presto-cli-0.245.1-executable.jar presto
chmod +x presto

  • CLI客户端启动

    /export/server/presto/bin/presto --server localhost:8090 --catalog hive --schema default

四、Presto Datagrip JDBC访问

  • JDBC 驱动：presto-jdbc-0.245.1.jar
  • JDBC 地址：jdbc:presto://192.168.88.80:8090/hive
combigdata
关注
大数据Presto（二）：Presto安装搭建
Lansonli（蓝深李）的博客
10-07 1270
注意：--server执行连接Presto的coordinator节点，--catalog指定连接hive，这里写的名字和“/software/presto-0.259/etc/catalog”路径中配置的properties名称保持一致。分别在node3,node4,node5节点上启动Presto Server，启动可以采用前台方式，日志会打印到控制台，也可以采用后台方式启动Presto，日志存放在“/software/presto-0.259/data/var/log”路径下。
Presto安装及配置
m0_62143943的博客
10-17 500
安装Presto 将安装包解压缩到/opt/module目录下 [hadoop@hadoop1 soft]$ tar -zxvf presto-server-0.196.tar.gz -C /opt/module 为方便使用，将presto-server-0.196目录名称修改为presto [hadoop@hadoop1 ~]$ mv /opt/module/presto-server-0.196/ /opt/module/presto 创建data目录 [hadoop@hadoop1 .
Presto安装
qq_39594790的博客
05-20 169
1、上传 presto-server-0.244.tar.gz并解压 2、创建etc文件夹 3、在etc目录下创建 节点属性：特定于每个节点的环境配置 --- etc/node.properties JVM Config：Java虚拟机的命令行选项 --- etc/jvm.config 配置属性：Presto服务器的配置 --- etc/config.properties 日志级别配置文件 --- etc/log.pro
Presto安装与配置
feizuiku0116的博客
11-05 4460
一、Presto-Server安装 一、环境要求 linux或者MacOS Java8 64位 Python 2.4+ 二、Java8安装 安装 yum install java-1.8.0-openjdk* -y 查看java版本 java -version 三、下载解压Presto安装包 下载安装包 点击官网下载 上传presto-server-0.245.1.tar到 hadoop01 的/export/server目录 解压 tar -xzvf presto-serv
Presto集群安装部署
最新发布
Java/Python大数据成长之路
12-10 650
在单独一台服务器上配置Coordinator，有利于提高集群性能，因此，可以在node01上配置Coordinator，在node02、node03上配置Worker。2020年12月27日，PrestoSQL为了更好的与Facebook的Presto进行区分而改名为Trino。PrestoSQL/Trino是一种分布式SQL查询引擎，旨在查询分布在一个或多个异构数据源上的大型数据集。是最后一个支持jdk8环境的版本，如果想使用更新版本的Presto，可以为Presto单独指定jdk11。
Linux Tableau Server Presto ODBC驱动配置问题
04-01
### Linux环境下Tableau Server Presto ODBC驱动配置详解 #### 一、背景介绍 在Linux环境中，使用Tableau Server连接Presto数据源时，往往需要通过ODBC（Open Database Connectivity）驱动来实现数据访问。然而，在...
Presto 安装
记录点点滴滴
04-04 3838
Presto 安装 Presto Server 安装 解压到 `/opt/module` 目录 修改名称 创建存储数据文件夹 创建存储配置文件文件夹 添加jvm.config配置文件 Presto 命令行 Client 安装 Presto 可视化 Client 安装
Presto0.167安装部署
ez scope
05-12 1472
描述Presto0.167安装、部署与配置过程。
presto安装
weixin_30443731的博客
03-18 134
下载presto-server-0.217包 进入presto根目录,新建脚本deploy.sh mkdir etc cd etc #配置 cat >config.properties << EOF coordinator=true node-scheduler.include-coordinator=true http-server.http....
Presto 安装部署与介绍
Mogeko1的博客
04-04 1237
Presto 安装部署与介绍
Presto 安装部署
u011250186的博客
10-23 291
1.版本选型 hadoop-3.1.3 hive-3.1.2 presto-0.233.1 2.Presto 简介 详细参考：https://prestodb.github.io/docs/current/connector.html 2.1 Presto 优势 多数据源，支持SQL，自定义扩展Connector 混合计算（同一种数据源的不同库 or表；将多个数据源的数据进行合并） 低延迟，高并发，纯内存计算引擎，高性能 2.2 Presto 架构 # presto提供插件...
presto安装及入门
鸭梨的博客
01-04 478
相比SparkSQL而言，Presto在查询性能上是优于SparkSQL的，同时对数据源的支持也是比SparkSQL丰富的。当然除了这两款OLAP外，还有impala,clickhouse,hawq,greenplum 等其他OLAP引擎，这些引擎都有各自的优势和适用场景 安装 使用 ...
presto配置
zhyajshhz的专栏
07-31 313
presto配置hive数据源权限控制分区 hive 数据源 // connector.name=hive-hadoop2 记得还有其他几种类型，查不到了，官网也没找到说法。 // hive.metastore.uri=thrift://mycbigdatan02:9083 hive metastore的地址 // hive.config.resources=/etc/hadoop/conf/core-site.xml,/etc/hadoop/conf/hdfs-site.xml hdfs的配置文件
Presto的环境安装
qq_44002865的博客
08-06 269
Presto 文章目录Presto1、安装Server安装命令行Client安装可视化Client安装 1、安装 Server安装 第一步：将 presto-server-0.196.tar.gz 上传到服务器并解压 第二步：在 presto 目录下创建存储数据和配置文件文件夹 # 创建存储数据文件夹 mkdir data # 创建存储配置文件文件夹 mkdir etc 第三步：配置在 etc 目录下添加 jvm.config 配置文件 -server -Xmx16G -XX:+UseG1G
presto如何使用安装及配置
05-20
Presto是一款高性能的数据查询引擎，它支持SQL查询，并且可以查询多个数据源，例如Hadoop、MySQL、PostgreSQL等。下面是Presto的安装和配置步骤： 1. 下载Presto：去Presto官网下载最新版本的Presto安装包。 2. 解压Presto：将下载的Presto安装包解压到你想要安装它的目录下。 3. 配置Presto：在解压后的目录中，打开etc文件夹，编辑config.properties文件，配置Presto的参数。其中包括数据源、端口、用户名、密码等信息。 4. 启动Presto：在Presto解压的目录下，使用命令行启动bin/launcher start即可启动Presto。 5. 使用Presto：启动Presto后，可以使用Web界面或者命令行进行查询。 至此，你已经完成了安装和配置Presto的步骤。如果你想要查询Hadoop数据源，你还需要配置相应的Hadoop参数。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值