Presto的环境安装

Presto

1、安装

Server安装

• 第一步：将 presto-server-0.196.tar.gz 上传到服务器并解压

• 第二步：在 presto 目录下创建存储数据和配置文件文件夹

  # 创建存储数据文件夹
  mkdir data
  
  # 创建存储配置文件文件夹
  mkdir etc
  

• 第三步：配置在 etc 目录下添加 jvm.config 配置文件

  -server
  -Xmx16G
  -XX:+UseG1GC
  -XX:G1HeapRegionSize=32M
  -XX:+UseGCOverheadLimit
  -XX:+ExplicitGCInvokesConcurrent
  -XX:+HeapDumpOnOutOfMemoryError
  -XX:+ExitOnOutOfMemoryError
  

• 第四步：配置一个Hive的catalog，Presto支持多个数据源，在Presto里面叫catalog

  # 在 etc 目录下创建 catalog 文件夹
  mkdir catalog
  # hive配置，在 catalog 目录（若是其他的，比如kafka，文件名为 kafka.properties）
  vim hive.properties
  # hive.properties 配置文件中的内容
  connector.name=hive-hadoop2
  hive.metastore.uri=thrift://hadoop151:9083
  

• 第五步：将 presto 整个文件分发到其他服务器中

• 第六步：在每个服务器中的 etc 目录下创建 node.properties 文件

  # ===================hadoop151
  # 环境
  node.environment=production
  # 唯一标识
  node.id=ffffffff-ffff-ffff-ffff-ffffffffffff
  # 数据存储路径
  node.data-dir=/opt/software/presto/presto-server-0.196/data
  
  
  # ===================hadoop152
  # 环境
  node.environment=production
  # 唯一标识
  node.id=ffffffff-ffff-ffff-ffff-fffffffffffe
  # 数据存储路径
  node.data-dir=/opt/software/presto/presto-server-0.196/data
  
  
  # ===================hadoop153
  # 环境
  node.environment=production
  # 唯一标识
  node.id=ffffffff-ffff-ffff-ffff-fffffffffffd
  # 数据存储路径
  node.data-dir=/opt/software/presto/presto-server-0.196/data
  

• 第七步：配置 coordinator和worker节点。hadoop151配置成coordinator，hadoop152、hadoop153配置为worker，在每个服务器中的 etc 目录下创建 config.properties 文件

  # ===================hadoop151
  # coordinator节点
  coordinator=true
  node-scheduler.include-coordinator=false
  http-server.http.port=8881
  query.max-memory=50GB
  discovery-server.enabled=true
  discovery.uri=http://hadoop151:8881
  
  
  # ===================hadoop152
  # worker节点
  coordinator=false
  http-server.http.port=8881
  query.max-memory=50GB
  discovery.uri=http://hadoop151:8881
  
  
  # ===================hadoop153
  # worker节点
  coordinator=false
  http-server.http.port=8881
  query.max-memory=50GB
  discovery.uri=http://hadoop151:8881
  

• 第八步：启动presto服务端（启动前先启动 Hive）

  # 第一种启动方式
  # 前台启动Presto，控制台显示日志（在三台服务器中运行）
  bin/launcher run
  
  
  # 第二种启动方式
  # 后台启动Presto（在三台服务器中运行）
  bin/launcher start
  

命令行Client安装

• 第一步：将 presto-cli-0.196-executable.jar 上传到服务器

• 第二步：添加执行权限

  chmod +x presto-cli-0.196-executable.jar
  

• 第三步：启动presto客户端（启动前先启动 Hive的 hive 命令行）

  ./presto-cli-0.196-executable.jar --server hadoop151:8881 --catalog hive --schema default
  

可视化Client安装

• 第一步：将 yanagishima-18.0.zip 上传到服务器并解压（unzip）

• 第二步：进入到 conf 文件夹，修改 yanagishima.properties 配置文件

  # 添加以下配置
  jetty.port=7080
  presto.datasources=fzk-presto
  presto.coordinator.server.fzk-presto=http://hadoop151:8881
  catalog.fzk-presto=hive
  schema.fzk-presto=default
  sql.query.engines=presto
  

• 第三步：启动

  # 前台启动
  bin/yanagishima-start.sh
  
  # 后台启动
  nohup bin/yanagishima-start.sh >y.log 2>&1 &