presto配置

前提环境

python 2.4+

jdk 1.8+

hadoop 01

1.文件存放在/export/server/presto-server-0.245.1

2.ln -s presto-server-0.245.1 presto

3.在presto里面创建相应文件

mkdir -p data
mkdir -p etc/catalog
touch etc/jvm.config
touch etc/{config,node,log}.properties
touch etc/catalog/hive.properties

注意：配置文件末尾不要留空格

4.在etc下创建配置文件node.properties

node.environment=presto_cluster
node.id=presto_hadoop01
node.data-dir=/export/server/presto/data

node.environment=presto_cluster # 环境的名称，群集中的所有Presto节点必须具有相同的环境名称
node.id=presto_hadoop01 # 此Presto安装的唯一标识符，这对于每个节点都必须是唯一的。
node.data-dir=/export/server/presto/data # 存储日志和其他数据

5.在etc 下创建jvm.config

-server
-Xmx5G
-XX:+UseG1GC
-XX:G1HeapRegionSize=32M
-XX:+UseGCOverheadLimit
-XX:+ExplicitGCInvokesConcurrent
-XX:+HeapDumpOnOutOfMemoryError
-XX:+ExitOnOutOfMemoryError

6.在etc 下创建config.properties

coordinator=true
node-scheduler.include-coordinator=true
http-server.http.port=8090
query.max-memory=4GB
query.max-memory-per-node=1GB
query.max-total-memory-per-node=2GB
discovery-server.enabled=true
discovery.uri=http://192.168.88.80:8090

-------------
coordinator=true  # 允许此Presto实例充当coordinator协调器角色 相当于主节点
node-scheduler.include-coordinator=true # 辅助角色
http-server.http.port=8090 # 指定HTTP服务器的端口。Presto使用HTTP进行内部和外部所有通信
query.max-memory=4GB # 单个query操作可以使用的最大集群内存量。
query.max-memory-per-node=1GB # 单个query操作在单个节点上用户内存能用的最大值。
query.max-total-memory-per-node=2GB # 单个query操作可在单个节点上使用的最大用户内存量和系统内存量，其中系统内存是读取器、写入器和网络缓冲区等在执行期间使用的内存。
discovery-server.enabled=true # Presto使用发现服务Discovery service来查找群集中的所有节点。每个Presto实例在启动时都会向Discovery服务注册。
discovery.uri=http://192.168.88.80:8090 # Discovery服务的URI地址，此URI不得以“/“结尾

7.在etc 下创建log.properties

com.facebook.presto=INFO

# 会将com.facebook.presto.server和com.facebook.presto.hive的日志级别都设置为INFO,共有四个级别：DEBUG，INFO，WARN和ERROR。

8.在etc/catalog下创建hive.properties

connector.name=hive-hadoop2
hive.metastore.uri=thrift://192.168.88.80:9083

hadoop 其他机器

cd /export/server/
scp -r presto-server-0.245.1/ hadoop02:$PWD
scp -r presto-server-0.245.1/ hadoop03:$PWD
​
cd /export/server/
ln -s presto-server-0.245.1/ presto

hadoop02及其他设备 修改以下配置

vim config.properties
修改后内容如下:
coordinator=false  # 改为false
# 这边需要删除一行
http-server.http.port=8090
query.max-memory=4GB
query.max-memory-per-node=1GB
query.max-total-memory-per-node=2GB
# 这边需要删除一行
discovery.uri=http://192.168.88.80:8090

vim node.properties 修改内容如下:

node.environment=presto_cluster

node.id=presto_hadoop02 # 需要修改

node.data-dir=/export/server/presto/data 

启动

cd /export/server/presto
执行:
bin/launcher start #所有设备都需要启动

查看

jps

访问web：http://192.168.88.80:8090/ui/

presto 安装（一般不用）

下载presto-cli-0.245.1-executable.jar（https://repo1.maven.org/maven2/com/facebook/presto/presto-cli/0.245.1/presto-cli-0.245.1-executable.jar）

#上传presto-cli-0.245.1-executable.jar到/export/server/presto/bin
mv presto-cli-0.245.1-executable.jar presto
chmod +x presto
./presto --server localhost:8090 --catalog hive --schema yp_ods