【Presto】http-worker-103 com.facebook.presto.execution.SqlTaskManager Switching coordinator affinity

最新推荐文章于 2022-03-07 10:11:28 发布

九师兄

最新推荐文章于 2022-03-07 10:11:28 发布

阅读量1.2k

点赞数

分类专栏：不体系

本文为博主九师兄（QQ:541711153 欢迎来探讨技术）原创文章，未经允许博主不允许转载。

本文链接：https://blog.csdn.net/qq_21383435/article/details/90444638

版权

不体系专栏收录该内容

158 篇文章 454 订阅 ¥39.90 ¥99.00

订阅专栏

本文档介绍了在Presto集群中如何配置协调器和worker，强调了每个节点的角色和配置，特别是在遇到多协调器导致的问题时，如何定位并解决，确保集群正常运行。

摘要由CSDN通过智能技术生成

背景

在这里插入图片描述

2. 环境

地址	服务	说明
kylin1.dtwave.dev.local	worker节	worker节点
kylin2.dtwave.dev.local	coordinator	调度节点
kylin3.dtwave.dev.local	worker节点	worker节点

6.1 配置coordinator

config属性文件etc/config.properties包含Presto服务器的配置。每个Presto服务器都可以充当协调器和工作器，但是专用一台机器来执行协调工作可以在更大的集群上提供最佳性能。

以下是协调器的最小配置：

了解本专栏

订阅专栏解锁全文

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

九师兄

关注关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
打赏
0
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫

专栏目录

订阅专栏

Presto 原生多 Coordinator 功能简介，可以在生产环境使用

过往记忆大数据

04-23

3534

背景Presto 的架构最初只支持一个 coordinator 和多个 workers。多年来，这种方法一直很有效，但也带来了一些新挑战。•使用单个 coordinator，集群可以可靠地扩展到一定数量的 worker。但是运行复杂、多阶段查询的大集群可能会使供应不足的 coordinator 不堪重负，因此需要升级硬件来支持工作负载的增加。•单个 coordinator...

（四）PrestoDB源码解析(二)

Sunhighlight的博客

07-01

1096

（四）PrestoDB源码解析(二) 执行计划模块概要 PrestoDB对传入的SQL语句进行解析后将生成执行计划，本模块将解析PrestoDB如何生成执行计划。 (a). 用户输入SQL语句，通过JDBC或者presto-cli客户端将SQL通过HTTP的形式传入Coordinator中的StatementResource接口的createQuery方法中，进入执行计划生成模块； (b).通...

参与评论您还未登录，请先登录后发表或查看评论

trino 安装(带web ui 与 coordinator 和 worker 与 coordinator 安全通讯)

大怀特的博客

12-16

4651

文章目录securityauthenticationself signed certificateauthorization(todo)configcoordinatorworker security authentication self signed certificate # Write down the Common Name (CN) for your SSL Certificate. The CN is the fully qualified name for the system that u

Presto在车好多的实践

过往记忆大数据

12-18

5712

本文作者：车好多大数据OLAP团队-王培Presto 简介1.简介Presto 最初是由 Facebook 开发的一个分布式 SQL 执行引擎，它被设计为用来专门进行高速、实时的数据分...

Presto Coordinator分布式改造

马云雷的专栏

11-26

3182

背景自从上线SQL功能以来，经过两年的时间，随着sls业务的不断增长，每天处理1亿次query，扫描1000,000,000,000,000行日志(没错1000万亿行日志)。业务的增长也给系统带来无形的压力，如何保障在低延时的前提下提供这么大的负载是一个巨大的挑战。挑战之一就是单master架构。在之前的文章中，我介绍过了presto的架构。coordinator是presto中负责query...

presto更改端口遇到的问题

weixin_30813225的博客

12-05

1017

临时有更改presto端口的需求，配置文件config.properties，配置文件所在路径：/home/bigdata/local/presto/presto-data/etc coordinator=truenode-scheduler.include-coordinator=falsehttp-server.http.port=8091query.max-memory=96GBque...

presto-server-0.196.tar.gz

10-12

1. **Presto架构**：Presto是一个由多个组件构成的系统，包括协调节点（Coordinator）和工作节点（Worker）。协调节点负责处理查询计划，分配任务，而工作节点执行实际的计算任务。 2. **安装与配置**：在部署`...

presto-jdbc-0.245.jar

03-09

presto连接jdbc，适用于dberver使用即席查询时连接

presto-connectors:Facebook Presto连接器

05-18

预置连接器 Presto连接器建造 Presto连接器使用Maven构建，并且需要Java 8或更高版本。 # Build and install distributions ./mvn clean package -DskipTests # Clean the build ./mvn clean 有用的邮件列表有关代码，设计和功能的讨论

ranger-2.0.0-presto-plugin.tar.gz

06-04

在本案例中，"ranger-2.0.0-presto-plugin.tar.gz" 是一个已经编译好的Ranger Presto插件的压缩包，为用户省去了自行编译的复杂过程和可能遇到的问题。 Presto是一个分布式SQL查询引擎，设计用于快速查询大规模的...

presto-facebook

11-30

2015年10月6日 Boston presto交流会资料 presto@facebook

Presto 安装部署

三人行，必有我师焉。

05-28

5472

1 部署 JDK7 /usr/local/jdk7 2 待下载软件列表： presto-server: http://search.maven.org/remotecontent?filepath=com/facebook/presto/presto-server/0.54/presto-server-0.54.tar.gz discovery-server:

Presto学习（2）-Presto部署报错信息汇总

嘻哈熊的专栏

02-26

5053

com.facebook.presto.server.PrestoServer Unable to create injector, see the following errors：网上说的是配置文件没弄好，我就是配置文件的端口号被占用了：config.properties里面的http-server.http.port Cannot connect to discovery serve...

Presto中Queue的使用总结

不积跬步，无以至千里；不积小流，无以成江海！

07-29

5533

当众多开发者或是测试人员共同使用一个环境时，可能会出现某个人的大量查询把系统资源耗尽的情况，此时可以使用Queue来限制某人的最大连接数，从而达到资源平等的目的。本文对相关配置以及使用做简单的说明配置添加配置文件,文件格式为json文件，例如文件叫queue_config.json，内容如下 { "queues": { "user.${USER}":

presto-server-0.223.tar.gz

01-19

1. **分布式架构**：Presto支持水平扩展，可以在多台机器上运行，通过协调器（Coordinator）和工作节点（Worker Nodes）进行任务分配和执行，能够处理PB级别的数据。 2. **多数据源支持**：Presto可以连接多种数据...

facebook presto jdbc连接

Exception_ex的专栏

12-01

8334

前置条件： Presto server已安装且已以启动，具体见： http://blog.csdn.net/exception_ex/article/details/16969941 启动端口为8080；依赖jar包： guice-3.0.jar；下载地址： http://repo1.maven.org/maven2/com/google/inject/guice/3.0/gui

KeepAlive + VIP 配置高可用Presto-master主备集群(单活）

liyanling的博客

01-22

3145

一、背景本文主要介绍使用 keepalive 实现 presto 的主备高可用，只能有一个节点存活的情况下，使用此方案。实验环境：CentOS 6 64 位二、实验步骤 1. 软件安装安装keepalive软件包 sudo yum install -y keepalived presto部署和配置省略，假设进程已经启动，端口监听在...

Presto/Trino的Coordinator和Worker、查询执行流程、查询句法优化和代价优化、Lateral join和Semi-join

Bulut0907

03-07

2630

目录1. coordinator协调器和worker工作节点2. Connectors连接器 1. coordinator协调器和worker工作节点 Presto在整个集群的worker服务器上分配处理任务，实现横向拓展，类似MPP架构上面是一个coordinator和多个worker的集群，客户端通过coordinator连接系群，coordinator将创建一个包含多个State的逻辑模型，分发到各个worker进行执行，worker访问数据源获取数据 coordinator上会运行一个disco

Presto coordinator的CPU持续上涨，原因竟然是这样

马云雷的专栏

05-20

2175

问题背景之前介绍过presto的架构， coordinator是Presto架构中负责调度的master节点。在实际部署中，为了减少该节点的负载，指定node-scheduler.include-coordinator=false，避免把计算任务调度到coordinator节点上。由于Presto进程是常驻进程，而且需要实时的提供在线服务。通常只有在需要升级时，才会通过热升级手段重启进程。于是...