Presto安装

Presto安装

1 环境及安装包准备

1). 安装presto前准备java环境最低JDK1.8.0_151

2). Presto安装包presto-server-0.259.tar.gz下载

3). Presto客户端jar包presto-cli-0.259-executable.jar下载

2 安装

2.1 安装

1). 将presto-server-0.259.tar.gz上传至服务器

2). 解压presto-server-0.259.tar.gz

tar -zxvf presto-server-0.259.tar.gz

图 1

3). 移动并修改presto-cli-0.259-executable.jar

将presto-cli-0.259-executable.jar移动到presto-server-0.259/bin目录下，并改名为presto，命令如下所示

mv ./presto-cli-0.259-executable.jar presto-server-0.259/bin/presto

图 2 4). 增加presto执行权

chmod +x /opt/apps/presto-server-0.259/bin/presto

图 3

5). 创建Presto数据目录

配置presto数据目录，创建在安装目录外

mkdir /opt/data/presto/data

图 4

6). 创建etc目录

在/opt/apps/presto-server-0.259目录下创建etc文件夹

mkdir /opt/apps/presto-server-0.259/etc

图 5

7). 创建etc目录下配置文件

在刚创建好的etc目录下创建以下几个文件config.properties，jvm.properties，node.properties，log.properties

touch config.properties

touch jvm.config

touch node.properties

touch log.properties

图 6

8). 创建catalog目录

在创建好的etc目录下创建catalog目录

mkdir catalog

图 7

9). 创建catalog目录下connector文件

创建hive连接配置文件

touch hive.properties

创建mysql连接配置文件

touch mysql.properties

2.2 配置

2.2.1 Presto属性配置

1). 配置config.proterties

coordinator=true	当前节点如果作为work节点值为false，作为coordinator节点为true
node-scheduler.include-coordinator=false	当前节点只作为调度节点时值为false，如果作为调度节点和计算节点时为true
http-server.http.port=8660	端口可自定义，最好选择一个不容易冲突的端口号
query.max-memory=1GB	资源配置
query.max-memory-per-node=512MB	资源配置
query.max-total-memory-per-node=512MB	资源配置
discovery-server.enabled=true	Presto 通过Discovery 服务来找到集群中所有的节点,每一个Presto实例都会在启动的时候将自己注册到discovery服务； 注意：worker 节点不需要配 discovery-server.enabled
discovery.uri=http://lx01:8660	Discovery server的URI，lx01是主机名，端口号和’http-server.http.port’保持一致。由于启用了Presto coordinator内嵌的Discovery 服务，因此这个uri就是Presto coordinator的uri

具体配置文件中内容如下图所示：

图 8

2). 配置jvm.config

presto的调度节点和结算节点的配置是相同的

-server
-Xmx2G
-XX:+UseG1GC
-XX:G1HeapRegionSize=32M
-XX:+UseGCOverheadLimit
-XX:+ExplicitGCInvokesConcurrent
-XX:+HeapDumpOnOutOfMemoryError
-XX:+ExitOnOutOfMemoryError

具体配置文件中内容如下图所示：

图 9

3). 配置node.properties

node.environment=production	配置节点环境
node.id=ffffffff-ffff-ffff-ffff-ffffffffffff01	每个节点需要不同
node.data-dir=/opt/data/presto/data	这里配置的路径就是之前创建的presto数据目录

具体配置文件中内容如下图：

图 10

4). 配置log.properties

com.facebook.presto=INFO	这里配置的是日志信息级别，最低为DEBUG，最高为ERRO

2.2.2 Connector配置

1). 配置hive.properties文件

vi hive.properties

connector.name=hive-hadoop2	注意 connector.name 只能是 hive-hadoop2，否则presto会自动退出
hive.metastore.uri=thrift://lx01:9083
hive.config.resources=/opt/apps/hadoop-2.8.5/etc/hadoop/core-site.xml,/opt/apps/hadoop-2.8.5/etc/hadoop/hdfs-site.xml	一定要配置core-site.xml和hdfs-site.xml，否则会报nameservices1错误。

具体配置文件中内容如下图所示：

图 11

配置完成退出保存即可

2). 配置mysql.properties文件

vi mysql.properties

connector.name=mysql  
connection-url=jdbc:mysql://lx01:3306   
connection-user=root   
connection-password=*******(填写库的实际密码)   

配置文件中具体内容如下图所示：

图 12

到这里Presto的安装配置就完成了。

3 Presto客户端命令行使用

3.1 启动

启动presto通过bin录下的launcher启动

./launcher start

图 13

通过jps命令可以看到PrestoServer服务

图 14

当服务启动后，可以通过web界面进行访问，端口号就是config.properties配置文件中配置号的端口号，web界面如下图所示

图 15

3.2 客户端连接

Presto CLI提供了一个基于终端的交互式shell，用于运行查询。CLI是一个 自动执行的 JAR文件，这意味着它的行为类似于普通的UNIX可执行文件，就是上面步骤中出现的presto-cli-0.259-executable.jar，我们已经将其移动到bin目录下了，并且改名为presto，启动presto后，通过绑定调度器端口来启动客户端。

./presto --server lx01:8660 --catalog hive --schema defalut 

当连接hive后，不管查看数据库还是查看表都提示没有连接到hive的元数据时，执行如下命令

hive --service metastore &

用此命令开启hive的元数据服务，这样就可以了查看到hive中的数据了 ，在Presto中查看数据使用的schema不是database，语法如下

show schemas

图 16

当查询完数据的时候出现如下界面

图 17 如果在这个界面不知道怎么退出的话，按一下‘Q’即可，不区分大小写。