Presto之 hash_partition_count

于 2023-06-04 14:17:30 发布
阅读量1.4k 收藏
点赞数 1
分类专栏： presto 文章标签： presto trino openlookeng partition 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/wangfeihuo/article/details/131031810
版权

       其实在Presto中，hash_partition_count的意义是限制一个Stage最多可以在多少个worker节点上运行，hash_partition_count超过Worker的总数量时此参数不起作用。其实也就是说此参数可以控制一个Stage最多可以拆封成多少个Task并行运行，当此参数调小时，一个查询的并行度也因为Task个数变小而变小，从而性能下降。

       hash_partition_count也不是对所有类型的Stage都可以生效，只有对可拆分成多个Task运行 的Stage才生效，比如Partition Join， Order by等算子，对于TableScan，TaskOutput等不可拆分运行的Stage，此参数不起作用。

      hash_partition_count的实现原理也很简单，就是在生成Parition与执行Node节点的映射关系的时候，返回最大可调度的worker数量为min(hash_partition_count, worker数量)即可，核心代码如下所示：

王飞活
关注
  • 1
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Presto源码解析(HashAggregationOperator)
sinat_27545249的博客
09-17 1052
GroupByHashAggregationBuilder 重要成员 重要方法1.GroupByHashAggregationBuilder1.重要成员 private final GroupByHash groupByHash;//包括找出group组id，添加新的gooup等 private final List<Aggregator> aggregators;//
Presto 常用函数
hysfwjr的专栏
01-20 2045
Presto 简要介绍 presto是一个分布式的sql交互式查询引擎，基于内存的，可以达到hive查询效率的5到10倍，支持多种数据源的秒级查询。另外除了基于内存之外，还有优化如下： 向量计算 动态编译执行计划 优化的ORC和Parquet Reader技术 常用时间函数 参考https://prestodb.io/docs/current/functions/datetime.htm...
Presto 之Hash Join的Partition
王飞活的博客
04-30 3075
在Presto中，当两表Join为Hash Join并且join_distribution_type为PARTITIONED的时候，Presto会将Build表分区（Partition）后再进行Join操作。
scala中tuple太长_Presto中的Hash Join
weixin_39705065的博客
12-03 575
1. 概述(文末有彩蛋)作为一个高效的OLAP引擎，快速的Join算法必不可少，Presto目前主要使用HashJoin算法来完成Join相关的查询，本文主要从HashJoin在执行层的原理和源码实现角度(不涉及优化器相关的内容)讲讲Presto中的HashJoin。1.1 Join语句看下边的tpcds表相关的join查询语句：SELECT COUNT(*) FROM store_sales s...
oracle hash partition哈希分区(一)
01-07 523
前几篇文章:http://space.itpub.net/index.php?uid/9240380/action/spacelist/php/1,主要测试range partition的语法及相关维护;...
Gateway_Presto_Windows.zip
05-10
标题中的"Gateway_Presto_Windows.zip"暗示了这是一个与Windows平台相关的Presto网关软件包。Presto是一个分布式SQL查询引擎，常用于大数据分析，尤其适用于跨多个数据源进行快速查询。Gateway则是Presto系统的一...
Presto技术内幕_part3
11-30
Presto技术内幕_PDF电子书下载 高清 带索引书签目录_JD-Presto研发团队_ 电子工业出版社_第1版_P294_2016年7月1日.part3.rar
Presto_SQL_on_Everything.pdf
06-14
Presto is an open source distributed query engine that supports much of the SQL analytics workload at Facebook. Presto is designed to be adaptive, flexible, and extensible. It supports a wide variety ...
Presto_ODBC.rar
09-10
Presto ODBC.rar 是一个压缩包，其中包含了...总之，Presto_ODBC.rar提供的资源对于需要在C#或其他支持ODBC的应用程序中与Presto数据库交互的开发者非常有价值。正确配置和使用这些驱动可以实现高效、稳定的数据访问。
presto_jdbc
04-04
【Presto JDBC 快速入门】 Presto是一个开源的分布式SQL查询引擎，设计用于处理大规模的数据。它适用于交互式分析，支持多种数据源，包括Hive、Cassandra、MySQL等。Presto JDBC（Java Database Connectivity）是...
dm-sql
你学废了么的博客
03-13 505
查看表结构-注意大小写 SELECT DBMS_METADATA.GET_DDL(‘TABLE’,‘t1’,‘CY123’) FROM dual; SP_TABLEDEF(‘CY123’,‘t1’); DM_SQL 语言使用手册 判断某个值是否为空值,若不为空值则输出,若为空值,返回指定值 SELECT employee_name, employee_id, NVL (commission_pct, 0) AS commission_pct FROM dmhr.employee; 空值与函数 函数对空值的处
大数据培训在 Presto 中使用哈希改善动态集群缓存命中率
weixin_45695430的博客
05-20 124
目前，越来越多的用户开始在 Presto 里面使用 Alluxio，它通过利用 SSD 或内存在 Presto workers 上缓存热数据集，避免从远程存储读取数据。Presto 支持基于哈希的软亲和调度（hash-based soft affinity scheduling），强制在整个集群中只缓存一到两份相同的数据，通过允许本地缓存更多的热数据来提高缓存效率。但是，当前使用的哈希算法在集群大小发生变化时效果不佳。本文介绍了一种用于软亲和调度的新哈希算法，一致性哈希（consistent hashing
【kafka】分区副本分配算法解析
klli15的博客
08-22 1123
kafka分区副本分配算法解析 最近在看《深入理解Kafka：核心设计与实践原理 》来系统学习kafka，第一个令我想深入了解的就是这个知识点：分区副本分配算法 算法功能 各个分区副本 均衡分配到 不同的broker节点 中，既避免因为某个broker宕机导致整个分区不可用，也实现了各个broker节点的负载均衡 broker节点可以视为 不同的服务器 引入 我们看看分区副本分配算法的效果 有三个kafka broker节点 步骤 创建一个 有 4 个分区，每个分区有2个副本的 topic t
kafka 常用命令
juanqiao7497的博客
03-30 5717
本人接触kafka也有一段时间，记录一下常用的一些命令，便于工作中使用，只是简单整理了几个常用命令，欢迎大家继续补充 1 启动kafka服务 ./bin/kafka-server-start.sh config/server.properties & 2 手动创建topic sh kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic 名称 3 向top
kafka配置参数
weixin_42496486的博客
05-21 1382
kafka常见的参数
Presto查询调度解析
qq_27639777的博客
08-11 1707
文章目录提交查询生成查询计划并启动调度器查询调度过程stage调度策略创建stage调度器Source Stage调度可扩展分布式写出Stage调度输入都为远程数据源的Fixed/Single Stage调度输入包含本地数据源的Fixed Stage调度 Presto将查询拆分成多个且有树状层级关系的Stage，实际就是将整个SQL处理过程拆分成多个具有各自功能的执行阶段。Presto将查询请求解析成各个执行阶段后，便会将各个阶段分配到各个计算节点中执行，这个分配的过程实际是基于Stage进行的，不同的St
深入理解Presto(2) ：Presto查询执行过程
热门推荐
马云雷的专栏
02-26 1万+
Presto查询执行过程 Presto包含三类角色，coordinator,discovery,worker。coordinator负责query的解析和调度。discovery负责集群的心跳和角色管理。worker负责执行计算。 presto-cli提交的查询，实际上是一个http POST请求。查询请求发送到coordinator后，经过词法解析和语法解析，生成抽象语法树，描述查询的执...
presto sql 常用函数、性能优化 、常见问题（更新ING）
Abolbee
09-09 8420
presto基础 1、presto对于数组的取值是从1开始的，hive是从0开始的 2、presto不支持hive视图 常用函数 提高性能——调试 1.指定需要返回的字段 2.合理使用GROUP BY 当过滤条件作用在分区字段上面时，可以减少数据扫描的范围，有效提升查询性能； 当group by的数值型字段将比字符型更节省内存空间； 还应考虑统计字段基数（某字段拥有不同值的个数），将基数大的字段放在前面 3.order by 和 limit 配合使用 order by 将所有数据放到一个worker中
presto函数和hive函数的使用
左手吐司 · 右手花卷
06-14 9520
最近做大数据分析工作比较多，主要与presto和hive查询引擎打交道，presto在实时计算上真的很快（个人感觉比hive要快10倍吧），但是hive在面向海量数据的分析计算上也是很牛逼的，这里不得不记录下两者在使用上的一些区别。粘贴一段二者计算原理区别的解释，^_^Presto 的运行模型和 Hive 或 MapReduce 有着本质的区别。Hive 将查询翻译成多阶段的 MapReduce ...
presto 支持row_number() over partition by
最新发布
06-09
是的，Presto支持`row_number() over partition by`语法。`row_number()`函数用于计算每行在其分区内的序号，`partition by`子句用于将数据集分成不同的分区（类似于GROUP BY子句），以便在每个分区内计算序号。例如，以下查询返回每个部门中工资最高的员工及其排名： ``` SELECT department, name, salary, row_number() over (partition by department order by salary desc) as rank FROM employee; ``` 这个查询将employee表按照department字段分区，然后按照salary字段降序排序，计算每个分区内的员工排名。结果集中包含每个员工的部门、姓名、工资和排名。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值