FaceBook Prestodb 配置文档

2019独角兽企业重金招聘Python工程师标准>>>

 

安装配置

wget https://repo1.maven.org/maven2/com/facebook/presto/presto-server/0.145/presto-server-0.145.tar.gz
tar xzvf presto-server-0.145.tar.gz
cd presto-server-0.145
mkdir etc

在etc目录下创建如下几个文件

1. node.properties
2. jvm.config
3. config.properties
4. log.properties
5. Catalog Properties

node.properties

node.environment=production                     #环境的名称，集群情况下每个presto节点名称需要保持一致
node.id=ffffffff-ffff-ffff-ffff-ffffffffffff    #presto节点唯一标示，每个节点应该都不同
node.data-dir=/data/store/presto                #数据存放目录，presto会把日志和其他数据存这里

jvm.properties

-server
-Xmx16G
-XX:+UseG1GC
-XX:G1HeapRegionSize=32M
-XX:+UseGCOverheadLimit
-XX:+ExplicitGCInvokesConcurrent
-XX:+HeapDumpOnOutOfMemoryError
-XX:OnOutOfMemoryError=kill -9 %p

config.properties

#cordinator 最小配置
coordinator=true
node-scheduler.include-coordinator=false
http-server.http.port=8080
query.max-memory=50GB
query.max-memory-per-node=1GB
discovery-server.enabled=true
discovery.uri=http://example.net:8080

#worker最小配置
coordinator=false
http-server.http.port=8080
query.max-memory=50GB
query.max-memory-per-node=1GB
discovery.uri=http://example.net:8080

#一台机器做测试的时候既作为cordinator也是work那么我们如下配置
coordinator=true
node-scheduler.include-coordinator=true
http-server.http.port=8080
query.max-memory=5GB
query.max-memory-per-node=1GB
discovery-server.enabled=true
discovery.uri=http://example.net:8080

log.properties

com.facebook.presto=INFO

Catalog 配置

#需要我们再etc目录下创建catalog目录，然后根据你想用的连接器创建对应的配置文件，
#比如我想用mysql连接器则创建mysql.properties
#实际情况很多人去用hive连接器..后面如果有机会，在我一边学习的时候再做分享
connector.name=mysql
connection-url=jdbc:mysql://localhost:3306
connection-user=root
connection-password=secret

如果多个mysql怎么办呢，我们就在catalog下面建立多个properties文件，但是需要是.properties结尾，名称不一样就行

启动

#后台启动
bin/launcher start
#前台启动，可以观察输出日志
bin/launcher run
#停止
bin/launcher stop

启动之后你可以在/data/store/presto目录下找到输出的日志

命令行

#下载
wget https://repo1.maven.org/maven2/com/facebook/presto/presto-cli/0.146/presto-cli-0.146-executable.jar
#修改文件名为 presto
mv presto-cli-0.146-executable.jar presto
#添加可执行权限
chmod +x presto
#执行 schema 根据自己的表名而定
./presto --server localhost:8080 --catalog mysql --schema zhanshen

写在最后:

因为条件的限制，没有那么多机器，无法做大数据查询的测试，我很抱歉，对自己很抱歉...我也很庆幸，庆幸...

参考文档

【1】https://prestodb.io/docs/current/installation/deployment.html
【2】https://prestodb.io/docs/current/connector/mysql.html
【3】https://prestodb.io/docs/current/installation/cli.html

本文基于署名-非商业性使用-相同方式共享 4.0许可协议发布，欢迎转载、使用、重新发布，但务必保留文章署名稻草鸟人(包含此订阅号二维码)

转载于:https://my.oschina.net/openforce/blog/674243