presto集群部署

一.基础环境

机器：OLAP的三台

要求：JDK1.8

presto版本：presto-server-0.219

官网：https://prestodb.github.io/docs/current/installation/deployment.html

二.下载安装包

https://prestodb.github.io/docs/current/installation/deployment.html

三.部署集群

1. 在persto_server里面创建文件夹etc

2.在etc下面创建配置文件 config.properties，jvm.config，log.properties，node.properties

config.properties配置：

主节点	从节点
coordinator=true query.max-memory=50GB query.max-memory-per-node=6GB query.max-total-memory-per-node=10GB experimental.reserved-pool-enabled=false memory.heap-headroom-per-node=5GB query.low-memory-killer.policy=total-reservation-on-blocked-nodes discovery-server.enabled=true discovery.uri=http://x.x.x.x:8982 http-server.http.port=8982	coordinator=false query.max-memory=50GB query.max-memory-per-node=6GB query.max-total-memory-per-node=10GB experimental.reserved-pool-enabled=false memory.heap-headroom-per-node=5GB query.low-memory-killer.policy=total-reservation-on-blocked-nodes discovery.uri=http://x.x.x.x:8982

coordinator=true // 主节点为true

node-scheduler.include-coordinator=true //主节点需要，其余节点去掉

http-server.http.port=8982

query.max-memory=30GB

query.max-memory-per-node=5GB

query.max-total-memory-per-node=10GB

discovery-server.enabled=true //主节点需要，其余节点去掉

discovery.uri=http://127.0.0.1:8981 //集群直接通信，需要修改为主节点Ip

jvm.config ：配置

-server

-Xmx16G

-XX:+UseG1GC

-XX:G1HeapRegionSize=32M

-XX:+UseGCOverheadLimit

-XX:+ExplicitGCInvokesConcurrent

-XX:+HeapDumpOnOutOfMemoryError

-XX:+ExitOnOutOfMemoryError

log.properties 配置：

com.facebook.presto=INFO

node.properties配置:

node.environment=production //集群的名字，三台机器需要一样

node.id=ffffffff-ffff-ffff-ffff-ffffffffffff //节点的名称，三台机器需要不一样

node.data-dir=/data/apps/azkaban/presto/data //数据存放的记录

3. 在etc下面创建catalog目录:可以添加多个配置文件链接多少数据源（配置文件主从都要有）

在catalog下创建，hive.properties 文件

connector.name=hive-hadoop2

hive.metastore.uri=thrift://x.x.x.x:9083 //修改为core-site.xml中的thrift的地址

Hive:hive.properties	MySQL：aicar.properties
connector.name=hive-hadoop2 hive.metastore.uri=thrift://x.x.x.x:9083 hive.config.resources=/etc/hadoop/conf/core-site.xml,/etc/hadoop/conf/hdfs-site.xml	connector.name=mysql connection-url=jdbc:mysql://x.x.x.x:3306?zeroDateTimeBehavior=convertToNull connection-user=aicar_read connection-password=ZGxRdALP!@#CARREAD

注意：hive.config.resources的配置文件是拷贝hdfs的，自己创建的/etc/Hadoop/conf

4. 先启动主节点执行：./launcher start

在启动从节点：执行 ./launcher start

5, 通过指定不同的配置文件链接不同的数据源ß

presto --catalog atm --schema atm

presto --catalog hive --schema ods