Presto集群安装

最新推荐文章于 2023-11-17 18:02:13 发布
最新推荐文章于 2023-11-17 18:02:13 发布
阅读量399 收藏
点赞数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_42219734/article/details/80887838
版权

简介： Presto是一个运行在多台服务器上的分布式系统。 完整安装包括一个coordinator（调度节点）和多个worker。 由客户端提交查询，从Presto命令行CLI提交到coordinator。 coordinator进行解析，分析并执行查询计划，然后分发处理队列到worker中。
 
1、 环境准备
 
u  Centos
u  Java8
u  Python3.x
u  Hadoop2.x
 
2、 集群规划
 
u  Azkaban01
u  Azkabna02
u  Azkaban03
 
3、 连接器
 
u Apache Hadoop 1.x   （ hive-hadoop1 ）
u Apache Hadoop 2.x   （ hive-hadoop2 ）
u Cloudera CDH 4       （ hive-cdh4 ）
u Cloudera CDH 5       （ hive-cdh5 ）
 
 
4、 安装步骤
最低0.47元/天 解锁文章
浩毅
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
presto集群与hadoop，hive集群整合
lx91216的专栏
10-31 1万+
Presto是一个开源的分布式SQL查询引擎，适用于交互式分析查询，数据量支持GB到PB字节。Presto的设计和编写完全是为了解决像Facebook这样规模的商业数据仓库的交互式分析和处理速度的问题。 集群涉及到的插件有hdfs，hive。presto版本：presto-0.152.3，hadoop版本：hadoop-2.6.4，hive版本：hive-1.2.1，共三台集群。
最新版本！亲测有效！presto_0.280安装部署(包含连接Hive、MySQL)
qq_41289546的博客
04-07 974
node.id：每个Presto节点的唯一标识，每个节点的node.id都必须是唯一的。如果在一个节点上安装多个Presto实例(例如：在同一台机器上安装多个Presto节点)，那么每个Presto节点必须拥有唯一的node.id。node.enviroment：集群名称，所有在同一个集群中的Presto节点必须拥有相同的集群名称，这个名字就是控制台右上角展示的enviroment。node.data-dir：数据存储目录的位置(操作系统上的路径)，Presto将会把日期和数据存储在这个目录下。
【大话Presto 】- 核心概念
最新发布
Pushkin.的博客
11-17 415
Presto（PrestoDB）是一个FaceBook开源的分布式MPP SQL引擎，旨在处理大规模数据的查询和分析问题。传统数据库系统(eg:Hive)在面对大规模数据和复杂查询需求时存在限制，如数据规模限制、查询速度慢、数据源集成困难等问题。本文主要介绍下Presto基本的核心概念。
Ambari安装presto服务
x²＋(y－√³x²)²＝1的博客
01-07 1136
一、前提环境 确保 Ambari 已安装好 HDP2.6 确保 Python 服务软链指向的环境变量是系统自带的 Python ，若使用 Anaconda 带的 Python ，后续安装 Presto 会报错 no module named rpm 禁用 requiretty ，否则，后续安装 Presto 会报错：sudo：sorry，you must have a tty to run sudo 1、禁用 requiretty 方法 编辑 /etc/sudoers 文件，注释掉 Defaults r
KeepAlive + VIP 配置高可用Presto-master主备集群(单活）
liyanling的博客
01-22 3034
一、 背景         本文主要介绍使用 keepalive 实现 presto 的主备高可用，只能有一个节点存活的情况下，使用此方案。         实验环境：CentOS 6 64 位   二、 实验步骤 1. 软件安装 安装keepalive软件包 sudo yum install -y keepalived presto部署和配置省略，假设进程已经启动，端口监听在...
docker-presto-cluster：docker容器上的多节点presto集群
02-06
docker-presto-cluster是用于在docker容器上启动多个节点的集群的简单工具。 图像与的master分支同步。 因此，您可以轻松尝试最新的presto以进行开发。 产品特点 具有docker-compose的docker容器上的多节点集群 ...
docker-trino-cluster:docker容器上的多节点presto集群
05-09
docker-trino-集群 docker-trino-cluster是一个用于在容器上启动多节点集群的简单工具。 该图像与的master分支同步。 因此，您可以轻松尝试最新的trino以达到开发目的。 特征具有docker-compose的docker容器上的多...
深入理解Presto
02-24
例如调度，presto自身提供了对集群的监控，可以根据监控信息完成调度。简单的数据结构，列式存储，逻辑行，大部分数据都可以轻易的转化成presto所需要的这种数据结构。丰富的插件接口，完美对接外部存储系统，或者...
Ambari 集成 presto.docx
11-09
Ambari 是一个开源的工具，用于管理 Hadoop 生态系统中的集群，提供了一套图形化的界面和 REST API，使得安装、配置、监控和管理 Hadoop 及其相关服务变得简单。Presto 是一种分布式 SQL 查询引擎，适用于处理大规模...
Presto单体/集群环境搭建方法
一名程序猿的博客
03-10 906
Presto单体/集群搭建方法 一、所需环境 1、Mac OS系统或Linux 2、jdk8以上 yum install java-1.8.0-openjdk #centos系统 3、MySQL/Hive数据源环境 使用windows下的对应mysql数据库即可，开启数据库远程访问 use mysql; select host from user; #查看是否允许远程登录 update user set host ='%' where user ='root'; exit; #重新启动mysql服务 se
talaria:TalariaDB是适用于Presto的分布式，高可用性和低延迟时间序列数据库
05-02
塔拉里亚 TalariaDB是一个分布式的，高度可用的，低延迟的时间序列数据库，用于存储实时数据。 它建立在的基础上 博客： ： 公告 我们已经搬家了！ 该存储库不再处于主动维护状态。 随时为积极维护的做出贡献。 Grab已迁移到该存储库的最新版本，并将继续在该版本中做出贡献。 关于塔拉里亚数据库 在Grab中，每天在我们的平台上发生数以百万计的交易和连接，这需要数据驱动的决策制定。 这些决策需要基于实时数据做出。 例如，实验可能会无意中导致骑手的等待时间大大增加。 为了克服从大量数据中检索信息的挑战，我们设计并构建了TalariaDB。 它满足了我们每小时查询至少2-3 TB数据的需求，并且具有可预测的低查询延迟和低成本。 最重要的是，它可以很好地与不同工具的生态系统配合使用，并让我们使用SQL查询数据。 建筑学 上图显示了TalariaDB如何摄取和提供数据。 上游ETL管
技术分享 | Presto性能对比测试：Kubernetes部署 VS 物理机部署
Alluxio的博客
10-11 1054
Presto是开源分布式SQL查询引擎，可以对从GB到PB级大小的数据源进行交互式分析查询。Presto支持Hive、Cassandra、关系型数据库甚至专有数据存储等多种数据源，允许跨源查询。
Presto安装
qq_39594790的博客
05-20 154
1、上传 presto-server-0.244.tar.gz并解压 2、创建etc文件夹 3、在etc目录下创建 节点属性：特定于每个节点的环境配置 --- etc/node.properties JVM Config：Java虚拟机的命令行选项 --- etc/jvm.config 配置属性：Presto服务器的配置 --- etc/config.properties 日志级别配置文件 --- etc/log.pro
CentOS部署集群版Presto
a13568hki的博客
09-20 332
discovery-server.enabled: Presto使用Discovery服务去找到集群中的所有结点。这样可以简化部署， 不需要额外的服务，Presto的coordinator内置一个Discovery服务。也是使用HTTP端口。如果是Coordinator节点：注意 discovery.uri是指Coordinator节点的域名或者IP。http-server.http.port:指定HTTP端口。jmx.rmiregistry.port: 指定JMX RMI的注册。
Presto单机/集群模式安装笔记
coderlaw's study
08-29 2836
Presto单机/集群模式安装笔记一、安装环境 JDK版本要求: 1.9.0_92+ 二、安装步骤 官网下载最新版本https://prestodb.io/docs/current/installation/deployment.html 配置，参考网址http://prestodb-china.com/docs/current/installation/deployment.htmletc/no
presto环境搭建
高矮
01-09 6162
1、环境准备 支持操作系统： Linux or Mac OS X Java 8, 64-bit Python 2.4+ 支持hadoop集群环境版本： Apache Hadoop 1.x Apache Hadoop 2.x Cloudera CDH 4 Cloudera CDH 5 备注： 这里我们准备三台Ubuntu 14.04 并且搭建CDH5.10集群 2、下载安装包 presto-se...
Presto安装与配置
feizuiku0116的博客
11-05 4319
一、Presto-Server安装 一、环境要求 linux或者MacOS Java8 64位 Python 2.4+ 二、Java8安装 安装 yum install java-1.8.0-openjdk* -y 查看java版本 java -version 三、下载解压Presto安装包 下载安装包 点击官网下载 上传presto-server-0.245.1.tar到 hadoop01 的/export/server目录 解压 tar -xzvf presto-serv
presto集群安装&整合hive|mysql|jdbc
weixin_33979203的博客
09-20 277
Presto是一个运行在多台服务器上的分布式系统。 完整安装包括一个coordinator（调度节点）和多个worker。 由客户端提交查询，从Presto命令行CLI提交到coordinator。 coordinator进行解析，分析并执行查询计划，然后分发处理队列到worker中。目录：搭建前环境准备集群计划连接器安装步骤配置文件运行presto整合hive测试整合mys...
Ambari安装Presto
王佩的CSDN博客
04-15 3645
结点规划 结点 角色 node1 Presto coordinator node2 Presto worker与Client node3 Presto worker与Client node4 Ambari Server 禁用requiretty 安装presto的结点需要禁用requiretty,编辑/etc/sudo...
presto集群部署
09-15
在Presto安装目录下执行命令`./bin/launcher start`或者`./bin/launcher run`以启动Presto集群。前者以守护进程方式启动，后者将在前台运行。 9. 进入Presto CLI。在Presto安装目录下执行命令`./bin/presto-cli`以...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值