presto实时查询引擎搭建

原创 2015年11月20日 11:23:01

1、下载presto https://repo1.maven.org/maven2/com/facebook/presto/presto-server/

注意从0.86版本后只支持java 8,这里使用0.85版本+java 7,不然会出现

java.lang.UnsupportedClassVersionError: com/facebook/presto/server/PrestoServer : Unsupported major.minor version 52.0


2、解压tar包,进入conf目录,开始配置

config.properties

coordinator=true
node-scheduler.include-coordinator=false
http-server.http.port=10080
task.max-memory=5GB
discovery-server.enabled=true
discovery.uri=http://ip:10080

jvm.config

-server
-Xmx16G
-XX:+UseConcMarkSweepGC
-XX:+ExplicitGCInvokesConcurrent
-XX:+CMSClassUnloadingEnabled
-XX:+AggressiveOpts
-XX:+HeapDumpOnOutOfMemoryError
-XX:OnOutOfMemoryError=kill -9 %p
-XX:ReservedCodeCacheSize=150M

log.properties

com.facebook.presto=INFO

node.properties

node.environment=production
node.id=hostname-presto
node.data-dir=/var/presto/data

注意每台机器的node.properties里的node.id应该是唯一值,可用实际主机名替换hostname

复制core-site.xml、hdfs-site.xml到conf目录

3、在conf目录建立catalog目录

进入catalog目录,开始配置

hive.properties

connector.name=hive-cdh5
hive.metastore.uri=thrift://ip:9083
hive.config.resources=/usr/local/presto-server-0.85/etc/core-site.xml,/usr/local/presto-server-0.85/etc/hdfs-site.xml

jmx.properties

connector.name=jmx

4、以上为presto主结点配置,从结点修改

config.properties

coordinator=false
http-server.http.port=10080
task.max-memory=5GB
discovery-server.enabled=true
discovery.uri=http://ip:10080

以及注意node.properties里的node.id保持唯一

5、最后各台机器分发

启动关闭

/bin/launcher start

./bin/launcher stop

6、下载https://repo1.maven.org/maven2/com/facebook/presto/presto-cli/0.85/presto-cli-0.85-executable.jar
放入bin目录,重命名presto-cli,添加可执行权限,即可./presto-cli命令行进入

也可设置/etc/profile

export PRESTO_HOME=/usr/local/presto-server-0.85
alias presto='$PRESTO_HOME/bin/presto-cli --server ip:10080 --catalog hive --schema default'

命令行输入presto即可进入

参考

https://prestodb.io/
http://prestodb-china.com/ 
http://www.tuicool.com/articles/vU7rYzR

Presto必知必会

1.      概述Presto是一个分布式SQL查询引擎,用于查询分布在一个或多个不同数据源中的大数据集。 Presto通过使用分布式查询,可以快速高效的完成海量数据的查询。如果你需要处理TB或者P...
  • jiangshouzhuang
  • jiangshouzhuang
  • 2016年09月07日 17:07
  • 5436

presto部署

背景   presto又是facebook开源的一个分布式查询引擎查询效率比hive高很多。具体的说明可以看http://tech.meituan.com/presto.html,不错的实践说明。 单...
  • bcmm2009
  • bcmm2009
  • 2016年09月20日 19:25
  • 927

[Presto]部署运行Presto

1. 安装Presto 下载Presto server tarball,presto-server-0.100.tar.gz,将它解压。 它包含一个顶级目录, presto-server-0.100...
  • SunnyYoona
  • SunnyYoona
  • 2016年09月30日 16:16
  • 2345

Presto 安装部署

1 部署 JDK7   /usr/local/jdk7   2 待下载软件列表:   presto-server:     http://search.maven.org/remotecon...
  • a694704123b
  • a694704123b
  • 2015年05月28日 10:28
  • 3134

Prestodb概述及性能测试

概述内容 (1)简介 (2)Hive and Prestodb, comparison of functionality (3)Hive and Prestodb, comparis...
  • hit_hlj_sgy
  • hit_hlj_sgy
  • 2014年10月09日 12:31
  • 2367

presto集群安装步骤

Presto是一个运行在多台服务器上的分布式系统。 完整安装包括一个coordinator(调度节点)和多个worker。 由客户端提交查询,从Presto命令行CLI提交到coordinator。 ...
  • Eason_oracle
  • Eason_oracle
  • 2016年11月14日 16:35
  • 919

Presto查询性能测试记录

一、测试环境 HDFS 七个节点,五个dn,两个nn。Hive配置在其中一个nn,使用MySQL远程元数据库,同一个节点同时开启hiveserver2和 metastore。所有节点内存一致,3...
  • ZHBR_F1
  • ZHBR_F1
  • 2017年05月27日 14:14
  • 1153

近实时运算的利器---presto在公司实践

1.起因 公司Hadoop集群里的datanonde和tasktracker节点负载主要集中于晚上到凌晨,平日工作时间负载不是很高。但在工作时间内,公司业务人员有实时查询需求,现在主要 借助于hi...
  • zoubf
  • zoubf
  • 2016年08月02日 16:19
  • 2362

3台机器部署presto-server-0.173集群

一. 环境介绍 三台主机,主机名和ip分别为: ubuntu1  10.3.19.171 ubuntu2  10.3.19.172 ubuntu3  10.3.19.173 三台主机的登录用户名是b...
  • wiseflywang
  • wiseflywang
  • 2017年05月04日 11:39
  • 1146

presto集群与hadoop,hive集群整合

Presto是一个开源的分布式SQL查询引擎,适用于交互式分析查询,数据量支持GB到PB字节。Presto的设计和编写完全是为了解决像Facebook这样规模的商业数据仓库的交互式分析和处理速度的问题...
  • lx91216
  • lx91216
  • 2016年10月31日 20:15
  • 12131
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:presto实时查询引擎搭建
举报原因:
原因补充:

(最多只允许输入30个字)