presto集群安装并集合hive mysql

环境 presto 版本 presto-server-0.203.tar.gz
cdh CDH5.13

1.在Presto官网下载presto-server-0.203.tar.gz安装包

2.解压 压缩包 解压路径为tar -zxvf presto-server-0.203.tar.gz -C /opt/cloudera/parcels/presto

3.为presto-server-0.205创建persto软链接 # ln -s presto-server-0.203 presto

4…在/opt/cloudera/parcels/presto/bin/launcher文件如下位置添加JAVA环境变量(本人1,8)

JAVA_HOME=/usr/java/jdk1.8.0_131
PATH=$JAV{A}_{H}OME/bin:$PATH

打开 presto cd presto
新建 etc 配置文件路径 mkdir etc

本人选择 Coordinator 和 Worker 在同一个节点方式部署

配置文件为

其中 主节点
config 配置为
coordinator=true
node-scheduler.include-coordinator=true
http-server.http.port=10808
query.max-memory=32GB
query.max-memory-per-node=16GB
discovery-server.enabled=true
discovery.uri=http://192.168.1.89:10808

jvm 配置为

-server
-Xmx60G
-XX:+UseConcMarkSweepGC
-XX:+ExplicitGCInvokesConcurrent
-XX:+CMSClassUnloadingEnabled
-XX:+AggressiveOpts
-XX:+HeapDumpOnOutOfMemoryError
-XX:OnOutOfMemoryError=kill -9 %p
-XX:ReservedCodeCacheSize=150M
-Djava.library.path=/opt/cloudera/parcels/GPLEXTRAS-5.13.0-1.cdh5.13.0.p0.29/lib/hadoop-0.20-mapreduce/lib/native
-DHADOOP_USER_NAME=hdfs

log 配置为

com.facebook.presto=INFO

node 配置为

node.environment=prestocluster
node.id=presto-01
node.data-dir=/data0/presto

从几点 node 和 config 有差异

config 为

coordinator=false
http-server.http.port=10808
query.max-memory=32GB
query.max-memory-per-node=16GB
discovery.uri=http://192.168.1.89:10808

node 为

node.environment=prestocluster
node.id=presto-02
node.data-dir=/data0/presto

其他从节点类似

所有节点在 catalog 下 配置hive.properties

配置为
connector.name=hive-hadoop2
hive.metastore.uri=thrift://192.168.1.96:9083
hive.config.resources=/etc/hive/conf/core-site.xml,/etc/hive/conf/hdfs-site.xml
hive.allow-drop-table=false
hive.allow-rename-table=false
hive.allow-add-column=false
hive.allow-rename-column=false

注意 其中各个配置含有路径 都为本地 ，请确定本地路径下存在如此的文件

在每个节点的 presto 的lib 下 添加 下面的包 （根据cdh 版本）

且在每个节点 修改 此包的版本为 一下

在每个节点 /presto/plugin/hive-hadoop2
下 添加 （根据自己cdh ）

6. 运行 Presto

你可以使用下面命令后台启动：
bin/launcher start
也可以前台启动，观察输出日志：
bin/launcher run
另外，你也可以通过下面命令停止：
bin/launcher stop
更多命令，你可以通过 --help 参数来查看。
[root@cdh1 presto-server-0.90]# bin/launcher --help

在其配置路径下查找日志：本人配置路径为：/data0/presto

通过配置前端 Bi 提供查询界面 选则 yanagishima 对数据提供查询展示

报错in your-presto: java.net.UnknownHostException: we-hdfs
查找其对应的配置是否存在

presto 结合mysql

在主节点的 presto 的路径下的 /etc/catlog 下增加 mysql 的 配置文件

如文件名字 mysql43.properties

详细配置 为

并保证此节点对 mysql 数据库有访问权限