Ambari安装Presto

标签: Presto
18人阅读 评论(0) 收藏 举报
分类:

结点规划

结点 角色
node1 Presto coordinator
node2 Presto worker与Client
node3 Presto worker与Client
node4 Ambari Server

禁用requiretty

安装presto的结点需要禁用requiretty,编辑/etc/sudoers文件,注释掉Defaults requiretty

下载ambari-presto-service

[root@node4 ~]# wget https://github.com/prestodb/ambari-presto-service/releases/download/v1.2/ambari-presto-1.2.tar.gz

[root@node4 ~]# mkdir /var/lib/ambari-server/resources/stacks/HDP/2.6/services/PRESTO

[root@node4 ~]# tar xvf ambari-presto-1.2.tar.gz --strip-components 1 -C /var/lib/ambari-server/resources/stacks/HDP/2.6/services/PRESTO

[root@node4 ~]# chmod -R +x /var/lib/ambari-server/resources/stacks/HDP/2.6/services/PRESTO/*

下载presto离线安装包并配置仓库

在线安装太慢,这里下载presto离线安装包,并配置仓库。Presto coordinator结点、Presto worker与Client均从该仓库下载包。

下载presto离线安装包

[root@node4 ~]# mkdir presto_repo

[root@node4 ~]# cd presto_repo/

[root@node4 presto_repo]# wget http://search.maven.org/remotecontent?filepath=com/facebook/presto/presto-server-rpm/0.198/presto-server-rpm-0.198.rpm

[root@node4 presto_repo]# wget http://search.maven.org/remotecontent?filepath=com/facebook/presto/presto-cli/0.198/presto-cli-0.198-executable.jar

配置仓库

[root@node4 presto_repo]# ls
    presto-cli-0.198-executable.jar  presto-server-rpm-0.198.rpm

[root@node4 presto_repo]# yum install createrepo

[root@node4 presto_repo]# createrepo ${PWD}

[root@node4 presto_repo]# python -m SimpleHTTPServer 8081    

安装presto的结点增加presto仓库

node1结点要安装Presto coordinator,需要配置presto仓库
[root@node1 ~]# cat /etc/yum.repos.d/presto.repo
    [presto_repo]
    name=presto_repo
    baseurl=http://node4:8081
    enable=1
    gpgcheck=0

node2结点要安装Presto worker与Client,需要配置presto仓库
[root@node1 ~]# scp /etc/yum.repos.d/presto.repo root@node2:/etc/yum.repos.d

node3结点要安装Presto worker与Client,需要配置presto仓库
[root@node1 ~]# scp /etc/yum.repos.d/presto.repo root@node3:/etc/yum.repos.d

修改presto版本和安装包下载路径

[root@node4 ~]# vim /var/lib/ambari-server/resources/stacks/HDP/2.6/services/PRESTO/metainfo.xml
        <version>0.198</version>

[root@node4 ~]# vim /var/lib/ambari-server/resources/stacks/HDP/2.6/services/PRESTO/package/scripts/download.ini       
        [download]
        presto_rpm_url = http://node4:8081/presto-server-rpm-0.198.rpm
        presto_cli_url = http://node4:8081/presto-cli-0.198-executable.jar

Ambari安装Presto

[root@node4 ~]# ambari-server restart

按Ambari正常安装服务即可完成安装。discovery.uri:http://node1:8285

ambari_presto_install.png

Presto查询Hive和Kafka数据

添加Hive和Kafka Connectors

Ambari=>Presto=>Configs=>Connectors添加如下Connectors
{
  'hive':[
    'connector.name=hive-hadoop2',
    'hive.metastore.uri=thrift://node2:9083' #Hive Metastore 
  ],
  'kafka':[
    'connector.name=kafka',
    'kafka.table-names=test',#kafka topic
    'kafka.nodes=node2:6667' #kafka bootstrap_servers
  ]
}

Presto查询Hive

[root@node3 ~]# /usr/lib/presto/bin/presto-cli --server node1:8285 --catalog hive --schema default

presto:default> select departmentid,classid,sum(language) as language from test group by departmentid,classid;

presto_hive.png

Presto查询Kafka

[root@node3 ~]# /usr/lib/presto/bin/presto-cli --server node1:8285 --catalog kafka --schema default

presto:default> select json_extract_scalar(_message, '$.language') as language from test limit 3;

presto_kafka.png

查看评论

Ambari安装Presto服务(无网接入)

环境: CentOS 7.2、JDK 1.8 提前准备: 所有机器禁用requiretty,编辑/etc/sudoers文件,注释掉Defaults requiretty   确保每个节点已经安装wg...
  • ZhouyuanLinli
  • ZhouyuanLinli
  • 2017年08月25日 18:59
  • 536

presto安装介绍

Presto是一个开源的分布式SQL查询引擎,适用于交互式分析查询,数据量支持GB到PB字节。...
  • wangweislk
  • wangweislk
  • 2016年03月07日 10:38
  • 1724

Ambari 整合 Presto

详情: https://github.com/leoChaoGlut/ambari-presto-service
  • lc0817
  • lc0817
  • 2017年12月24日 13:49
  • 102

presto集群安装步骤

Presto是一个运行在多台服务器上的分布式系统。 完整安装包括一个coordinator(调度节点)和多个worker。 由客户端提交查询,从Presto命令行CLI提交到coordinator。 ...
  • Eason_oracle
  • Eason_oracle
  • 2016年11月14日 16:35
  • 1063

Presto安装与配置

Presto是一个运行在多台服务器上的分布式系统。 完整安装包括一个coordinator(调度节点)和多个worker。 由客户端提交查询,从Presto命令行CLI提交到coordinator。 ...
  • zyj8170
  • zyj8170
  • 2017年03月09日 09:49
  • 2160

Presto0.167安装部署

描述Presto0.167安装、部署与配置过程。
  • u012842205
  • u012842205
  • 2017年05月12日 11:46
  • 539

presto的安装与部署(对接kafka)

Preston 官网:http://prestodb.io/ Preston Github 主页:https://github.com/facebook/presto 一 安装环境 操作系统:Ce...
  • ouyang111222
  • ouyang111222
  • 2016年01月12日 23:19
  • 4245

CentOS 7 安装天文学工具presto

今天师兄让我自己摸索学习安装天文学工具presto,然后我就跑过去自己摸索了。发现安装时碰见很多问题,所以决定写下来。...
  • sinat_34850075
  • sinat_34850075
  • 2016年09月04日 20:31
  • 985

facebook presto安装与配置 CDH4.4

presto http://www.dw4e.com/?p=141 http://blog.csdn.net/u012417026/article/details/14516631 conf had...
  • luyee2010
  • luyee2010
  • 2013年11月20日 20:06
  • 6149

hadoop环境搭建之安装Ambari

安装Ambari
  • lidachao01
  • lidachao01
  • 2016年12月06日 15:40
  • 1218
    个人资料
    持之以恒
    等级:
    访问量: 6万+
    积分: 1053
    排名: 4万+
    最新评论