安装和部署Presto
1. 安装环境
- 操作系统:CentOs6.5
- Hadoop 集群:CDH5.3
- JDK 版本:jdk1.8.0_31
为了测试简单,我是将 Presto 的 coordinator 和 worker 都部署在 cdh1
节点上,并且该节点上部署了 hive-metastore 服务。下面的安装和部署过程参考自 http://prestodb.io/docs/current/installation.html。
2. 安装 Presto
下载 Presto 的压缩包,目前最新版本为 presto-server-0.90,然后解压为 presto-server-0.90 。
wget https://repo1.maven.org/maven2/com/facebook/presto/presto-server/0.90/presto-server-0.90.tar.gz
tar zxvf presto-server-0.90.tar.gz
解压后的目录结构为:
[$ presto-server-0.90]# tree -L 2
.
├── bin
│ ├── launcher
│ ├── launcher.properties
│ ├── launcher.py
│ └── procname
├── lib
├── NOTICE
├── plugin
│ ├── cassandra
│ ├── example-http
│ ├── hive-cdh4
│ ├── hive-cdh5
│ ├── hive-hadoop1
│ ├── hive-hadoop2
│ ├── kafka
│ ├── ml
│ ├── mysql
│ ├── postgresql
│ ├── raptor
│ └── tpch
└── README.txt
从 plugin 目录可以看到所有 Presto 支持的插件有哪些,这里我主要使用 hive-cdh5 插件,也成为连接器。
3. 配置 Presto
在 presto-server-0.90 目录创建 etc 目录,并创建以下文件:
-
node.properties
:每个节点的环境配置 -
jvm.config
:jvm 参数 -
config.properties
:配置 Presto Server 参数 -
log.properties
:配置日志等级 -
Catalog Properties
:Catalog 的配置