两个超级大表HASH，开并行并且不广播

最新推荐文章于 2023-07-04 03:05:37 发布
最新推荐文章于 2023-07-04 03:05:37 发布
阅读量151 收藏
点赞数
  1.   
  2. AA和B关联，AA和B返回结果很大，开并行HASH后依然很慢，所以定位内敛视图AA上，结果AA执行速度确实很慢  
  3.   
  4. 用脱衣服大法将AA扒衣服后，就剩TS_MX_SUBSCRIBE A,TS_UH_TRADE_FINANCE B,(SELECT DISTINCT C.PRODUCT_CODE,C.PRODUCT_NAME FROM TF_P_PRODUCT C) C 三个  
  5.   
  6. TS_MX_SUBSCRIBE  ,TS_UH_TRADE_FINANCE 过滤后都是150w条数据， TF_P_PRODUCT 数据少，但是和其他表是1:N关系，所以三个表走HASH  
  7.   
  8. 但是执行计划里面20 12 和28 29 都是两个超级大表HASH，并且是全表扫描，这严重影响SQL效率  
  9.   
  10. 这时候，应用罗总牛逼犀利威武淫荡的优化技巧：两个超级大表HASH，开并行并且不广播，成功将SQL从50分钟优化到4分钟！

来自 “ ITPUB博客 ” ，链接：http://blog.itpub.net/8568259/viewspace-2102527/，如需转载，请注明出处，否则将追究法律责任。

转载于:http://blog.itpub.net/8568259/viewspace-2102527/

cjsq82346
关注
并行HASH JOIN小表广播问题
zhaoyangjian724的专栏
12-31 1677
小表没广播的: Plan hash value: 3863004939 --------------------------------------------------------------------------------------------------------------------------------------------------------------
OLAP 大表和小表并行hash join
zhaoyangjian724的专栏
03-01 1555
一个表50MB 一个表10GB 50M表做驱动表,放在PGA里 这时候慢在对对 10g 的全表扫描 对10个G扫描块 需要开并行 我有这样一个算法 一个进程 读 50mb 8进程 来 扫描 10gb 一个 进程扫描 1.25gb 50MB 都分发到 8个进程 超大表和小表之间做HASH JOIN，一般会启用用并
布谷鸟hash算法的并行化实现（一）
Jacksqh的博客
05-14 1437
布谷鸟哈希是一种解决哈希冲突的算法。它的核心思想是将元素分配到两个可能的位置，如果冲突了就将元素移动到另一个位置，直到找到空闲位置或达到最大移动次数。虽然实现起来比较复杂，但也是一种高效的哈希算法。
Spark SQL 读写Hive以及简单的大表、小表关联、广播变量的简单例子
weixin_44695980的博客
07-04 4765
一、准备条件 本地(local windows)访问集群中的hive需要满足以下4个条件： (1)在IDEA中的项目文件main中创建resources资源文件，然后将集群hive的hive-site.xml配置文件下载下来，放到resources文件中。 (2)需要导入的maven依赖，参考版本： org.apache.spark spark-hive_2.11 ${spark.version...
oracle并行比不并行慢,陈焕生：深入理解Oracle 的并行执行(二)
weixin_32300981的博客
04-03 518
如何阅读并行执行计划Table queue 的编号代表了并行执行计划中，数据分发的顺序。理解执行计划中的并行操作是如何被执行的，原则很简单：跟随Tablequeue的顺序。通过sqlmonitor报告判断sql的执行顺序，需要结合name列的tablequeue名字比如：TQ10000(代表DFO=1，tablequeue0)，：TQ10001(代表DFO=1，tablequeue1)，还有PX进...
“Oracle数据库并行执行”技术白皮书读书笔记
In-Memory Computing Technology
05-25 861
本文为白皮书Parallel Execution with Oracle Database（2019年2月20日版本）的读书笔记。 简介 数据快速增长，但业务仍要求数据的快速处理。 并行执行是大规模数据处理的关键。并行执行使用多个进程来处理单个任务。 数据库越能有效地利用所有硬件资源——多个 CPU、多个 IO 通道、多个存储单元、集群中的多个节点——处理查询和其他数据库操作的效率就越高。 大型数据仓库应始终使用并行执行来获得良好的性能。 OLTP 应用程序中的特定操作（例如批处理操作）也可以从并行执行中显
sparkSql两表join关联的五种方式实现及原理
qq_41587243的博客
05-07 8294
对于Spark来说有3中Join的实现，每种Join对应着不同的应用场景： Broadcast Hash Join ： 适合一张较小的表和一张大表进行join Shuffle Hash Join : 适合一张小表和一张大表进行join，或者是两张小表之间的join Sort Merge Join ： 适合两张较大的表之间进行join 前两者都基于的是Hash Join，只不过在hash join之前需要先shuffle还是先broadcast。下面将详细的解释一下这三种不同的join的具体原理。 Has
多GPU并行计算分布式一致性算法原理和代码示例讲解
AI天才研究院
07-04 3957
随着深度学习和机器学习等应用的发展，计算资源的需求越来越大。传统的中央处理器（CPU）和图形处理器（GPU）已经不能满足越来越高的计算性能要求。并行计算作为一种解决计算问题的手段，开始受到关注。并行计算算法有很多种，如分布式增益矩阵、分布式无序映射、分布式迭代法等。其中，分布式增益矩阵算法是一种常见的并行计算算法，其主要思想是将一个大规模的线性方程组分解成多个子问题，并行计算子问题的解，从而得到整个方程组的解。分布式增益矩阵。
全面解读PostgreSQL和Greenplum的Hash Join
Greenplum中文社区
03-11 1668
2019年10月15日，Pivotal中国研发中心副总经理兼Greenplum中文社区发起人姚延栋出席了于意大利举行的PostgreSQL Conference Europe并发表了精彩的演讲《How does Hash Join work in PostgreSQL and its derivates》。本文根据演讲内容整理而成，供大家学习交流。 今天我将详细介绍PostgreSQL...
MaxCompute Hash Clustering介绍
阿里云云栖号
11-13 1024
背景 在MaxCompute查询中，Join是很常见的场景。例如以下Query，就是一个简单的Inner Join把t1表和t2表通过id连接起来： SELECT t1.a, t2.b FROM t1 JOIN t2 ON t1.id = t2.id; Join在MaxCompute内部主要有三种实现方法： Broadcast Hash Join - 当Join存在一个很小的表时，我...
【深入浅出flink】第14篇：kafka分区数与flink算子并行度导致Watermark不触发问题，大多数大数据开发者都会遇到的问题
雷恩Layne
01-30 4721
场景描述：flink消费分区有三个，其中第一个分区有数据，另外两个分区无数据。消费kafka分区的flink算子并行度为3，三个子任务分别消费kafka的分区，导致Watermark机制失效。
SparkSql Join基本流程(hash join,broadcast join,shuffle hash join ,sort merge join)
foreverlove_ty的博客
09-25 1411
Join 表信息和sql 表A : table_A，字段a1,a2,No 表B : table_B，字段b1,b2,No select a1,a2,b1,b2 from table_A t_A join table_B t_B on t_A.No=t_B.No ; 总体流程 流程的设计 step1 : 遍历table_A 表的所有记录，以过滤条件中的字段No的值进行分组，每个No值对于的A组数据，遍历出来，待用 step2 : 遍历table_B 表的所有记录，同A的处理方式 拿出A组数据去匹配B组数据
大表join大表_四十三、SparkSQL两种join详解:BroadcastHashJoin,SortMergeJoin
weixin_39623716的博客
12-09 1382
SparkSQL的3种Join实现原理Join操作是在传统的关系型数据查询中最常用的操作，关系型数据库在设计表时考虑到表的3NF范式设计，为了更好将数据分散在不同的表中以减少数据的冗余与减少更新容错等机制，而建立表之间关系的最好方式就是关联两张表，即所谓的表之间的join操作。SparkSQL从Shark到SparkSQL，提供了SQL的实现, 完全兼容HQL语法，并且借鉴了关系型数据库的优化器原...
高级数据库十九：并行JOIN算法（Hashing）
Mr.Phoebe的专栏
01-14 2397
Parallel Join Algorithms (Hashing) 背景 我们在执行Join操作的时候，肯定会使用多线程。但是这些多线程不是完全独立运行的，因为你需要在进入下一个阶段前将这一个阶段的所有数据处理完，而不能让一个线程先进入下一个阶段。所以如何设计Join算法来减少overhead就是非常关键的事情了。 这篇文章我们将介绍Hash Join的算法，下片文章介绍的是Sort-
基于Python实现的WHRP治理设计与源码分享
09-30
本项目是一款基于Python的WHRP治理设计与源码，包含20个文件，其中包括16个Python源代码文件、2个Markdown文件、1个Git忽略文件和1个许可证文件。该设计旨在通过Python实现WHRP治理，为用户提供高效、可靠的解决方案。
24页-新校区智慧校园综合布线建设方案.pdf
最新发布
09-30
# 高校智慧校园解决方案摘要 智慧校园解决方案是针对高校信息化建设的核心工程，旨在通过物联网技术实现数字化校园的智能化升级。该方案通过融合计算机技术、网络通信技术、数据库技术和IC卡识别技术，初步实现了校园一卡通系统，进而通过人脸识别技术实现了更精准的校园安全管理、生活管理、教务管理和资源管理。 方案包括多个管理系统：智慧校园管理平台、一卡通卡务管理系统、一卡通人脸库管理平台、智能人脸识别消费管理系统、疫情防控管理系统、人脸识别无感识别管理系统、会议签到管理系统、人脸识别通道管理系统和图书馆对接管理系统。这些系统共同构成了智慧校园的信息化基础，通过统一数据库和操作平台，实现了数据共享和信息一致性。 智能人脸识别消费管理系统通过人脸识别终端，在无需接触的情况下快速完成消费支付过程，提升了校园服务效率。疫情防控管理系统利用热成像测温技术、视频智能分析等手段，实现了对校园人员体温监测和疫情信息实时上报，提高了校园公共卫生事件的预防和控制能力。 会议签到管理系统和人脸识别通道管理系统均基于人脸识别技术，实现了会议的快速签到和图书馆等场所的高效通行管理。与图书馆对接管理系统实现了一卡通系统与图书馆管理系统的无缝集成，提升了图书借阅的便捷性。 总体而言，该智慧校园解决方案通过集成的信息化管理系统，提升了校园管理的智能化水平，优化了校园生活体验，增强了校园安全，并提高了教学和科研的效率。
Oracle并行执行深入解析：三表连接的HashJoin策略
在这个计划中，生产者进程对两个维度表（part和customer）进行Broadcast分发，消费者进程接收数据后，为两次Hash Join的构建阶段准备数据。然后，消费者进程并行扫描事实表lineorder，对每条满足条件的记录进行Hash ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值