left join 优化_SparkSQL在字节跳动的应用实践和优化实战

最新推荐文章于 2024-07-03 03:11:01 发布
最新推荐文章于 2024-07-03 03:11:01 发布
阅读量245 收藏
点赞数
文章标签： left join 优化
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_32998893/article/details/112074290
版权
本文聚焦于SparkSQL在字节跳动的优化实践，重点讨论了left join的优化，包括将SortMergeJoin转换为ShuffledHashJoin和构建左连接sidemap，以及通过Parquet数据读取剪枝、LocalSort、BoomFilter等手段提升性能。优化后，SQL执行速度平均提升20%~30%，执行时长显著缩短，并探讨了如何选择合适的列和其他如Hive/SparkLoad分区优化策略。
摘要由CSDN通过智能技术生成
来源:字节跳动白泉的分享 作者:大数据技术与架构整理

d16dd450d6954114174f32a6ed95ca9f.png

大数据技术与架构 点击右侧关注，大数据开发领域最强公众号！ 1e86f293dd5493420fe2f38294b3eb99.png

7b443bb9fe545b8336e3998897fdec6e.png

暴走大数据 点击右侧关注，暴走大数据！ 05d358450c29295ac4545d718aea2339.png By  大数据技术与架构 场景描述： 面对大量复杂的数据分析需求，提供一套稳定、高效、便捷的企业级查询分析服务具有重大意义。本次演讲介绍了字节跳动基于SparkSQL建设大数据查询统一服务TQS(Toutiao Query Service)的一些实践以及在执行计划调优、数据读取剪枝、SQL兼容性等方面对SparkSQL引擎的一些优化。 关键词：SparkSQL优化 字节跳动

本文是根据来自字节跳动的分享整理而成。

作者来自字节跳动数据平台查询分析团队。

 

目标和能力

为公司内部提供 Hive 、 Spark - SQL 等 OLAP 查询引擎服务支持。

  • 提供全公司大数据查询的统一服务入口，支持丰富的API接口，覆盖Adhoc、ETL等SQL查询需求

  • 支持多引擎的智能路由、参数的动态优化

  • Spark-SQL/Hive引擎性能优化

针对SparkSQL，主要做了以下优化：   1. 执行计划自动调优         •基于AE的 ShuffledHashJoin调整        
最低0.47元/天 解锁文章
欧明新
关注
从零开始java数据库SQL优化（二）：多个LEFT JOIN的SQL优化
qq_35755863的博客
10-07 4304
一：场景 我代码里需要在用户登录时将所有用户相关的用户，角色，部门，岗位，权限（其中权限放在菜单中，每2张表有一张关联表），不多说直接上SQL SELECT a.fk_user_id AS "fk_user_id", a.user_realname AS "user_realname", a.user_name AS "user_name", a.user_ty...
SparkSql MAPJOIN优化之小表left join大表
lquarius的博客
09-03 8564
首先我们要了解MAPJOIN优化原理，这里简要说明下 Spark Broadcast hash join(Hive map join同理) 1，把小表广播到所有大表分布的节点上，在每个节点上分别进行单机hash join 2，left join时只能广播右表 执行基本条件：小表必须小于参数spark.sql.autoBroadcastJoinThreshold, 默认为10M sql场景小表需要leftjoin大表 小表150M左右 大表1T左右 原始sql(广播...
Spark SQL 在字节跳动的优化实践-郭俊.pdf
12-03
Spark 在字节跳动内部扮演着重要角色。在数据仓库领域，Spark SQL 正在逐渐取代 Hive 成为主要的 ETL 计算引擎，另外它还是字节跳动内部重要的 ad-hoc 查询引擎。目前 Spark 每天处理百万亿级数据，单任务 Shuffle 数据量可超过 200TB。同时 Spark 与其它系统混合部署，因此性能与稳定性都是需要重点解决的问题。本次分享将会基于基础架构团队过往的工作成果，介绍字节跳动在提升基于 Spark SQL 的 ETL 稳定性以及优化 ad-hoc 查询的性能方面的实践。
left join优化_字节跳动 SparkSQL 优化的一些建议
weixin_39622398的博客
12-02 1301
场景描述：面对大量复杂的数据分析需求，提供一套稳定、高效、便捷的企业级查询分析服务具有重大意义。本次演讲介绍了字节跳动基于SparkSQL建设大数据查询统一服务TQS(Toutiao Query Service)的一些实践以及在执行计划调优、数据读取剪枝、SQL兼容性等方面对SparkSQL引擎的一些优化。关键词：SparkSQL优化 字节跳动作者: 来自字节跳动数据平台查询分析团队。目标和能力为...
mysql left join优化
最新发布
weixin_41231568的博客
07-03 197
优化相关视频讲解：深度学习入门：梯度下降通俗解释如何优化MySQL Left Join 整体流程 首先我们需要理解什么是左连接(left join)，它是一种在两个表之间建立连接的方法，它会返回左表的所有行，即使右表中没有匹配的行。左连接的优化可以通过合适的索引和查询优化来提高性能。 下面是优化MySQL左连接的步骤表格...
字节跳动在Spark SQL上的核心优化实践
top8488.top大数据
11-11 1619
字节跳动在Spark SQL上的核心优化实践 大数据架构今天 以下文章来源于字节跳动技术团队，作者郭俊 字节跳动技术团队 字节跳动的技术实践分享 10月26日，字节跳动技术沙龙| 大数据架构专场在上海字节跳动总部圆满结束。我们邀请到字节跳动数据仓库架构负责人郭俊，Kyligence 大数据研发工程师陶加涛，字节跳动存储工程师徐明敏，阿里云高级技术专家白宸和大家进行分享交流。 ...
上海沙龙回顾 | ​字节跳动在Spark SQL上的核心优化实践
字节跳动技术团队官方博客
11-07 2038
10月26日，字节跳动技术沙龙| 大数据架构专场在上海字节跳动总部圆满结束。我们邀请到字节跳动数据仓库架构负责人郭俊，Kyligence 大数据研发工程师陶加涛，字节跳动存储工程师徐...
left join on 多条件_Spark SQL如何选择join策略
weixin_39537977的博客
11-26 1028
Spark SQL如何选择join策略​mp.weixin.qq.com前言众所周知，Catalyst Optimizer是Spark SQL的核心，它主要负责将SQL语句转换成最终的物理执行计划，在一定程度上决定了SQL执行的性能。Catalyst在由Optimized Logical Plan生成Physical Plan的过程中，会根据：abstract class SparkStrateg...
oracle left outer join 子查询,LEFT JOIN优化多个子查询
weixin_33781129的博客
04-03 1577
1.SQL1OLD:SELECT COUNT (1) numFROM ( SELECT t1.*FROM t_asset t1WHERE 1 = 1AND t1.TYPE = 0AND ( t1.status IN (1,10,11,12,100)OR (EXISTS(SELECT b.resource_idFROM t_asset_file bWHERE t1.resour...
Spark性能调优案例-多表join优化，减少shuffle
u014034497的专栏
11-12 2126
A任务在凌晨1点到3点，平均耗时1h,且是核心公共任务，急需优化。
MySQL left join 查询巨慢 优化
热门推荐
寂寞的搬运工的博客
04-03 1万+
MySQL left join 查询巨慢 优化前景提要功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表 前景提要 最近工作中遇到一个非常奇怪的问题，mysql中有两张表，test_info和test_do_info需要进行LEFT JOIN关联查询，每张表又都1W+的数据，关联查询需要12s之久。 按照常理来说1W+的数据关联查询应该很快，即使进行全表扫描也不至于
SparkSQL–有必要坐下来聊聊Join
02-25
本文来自于范欣欣，本文带大家真正走进Join的世界，了解常用的几种Join算法以及各自的适用场景。Join是数据库查询永远绕不开的话题，传统查询SQL技术总体可以分为简单操作（过滤操作-where、排序操作-limit等），聚合操作-groupBy等以及Join操作等。其中Join操作是其中最复杂、代价最大的操作类型，也是OLAP场景中使用相对较多的操作。因此很有必要聊聊这个话题。另外，从业务层面来讲，用户在数仓建设的时候也会涉及Join使用的问题。通常情况下，数据仓库中的表一般会分为”低层次表”和“高层次表”。所谓”低层次表”，就是数据源导入数仓之后直接生成的表，单表列值较少，一般可以明显归
left join优化_Spark SQL是如何选择join策略的？
weixin_39938855的博客
12-03 365
前言我们都知道，Spark SQL上主要有三种实现join的策略，分别是Broadcast hash join、Shuffle hash join、Sort merge join。那Catalyst是依据什么样的规则来选择join策略的？本文来简单补个漏。Catalyst在由优化的逻辑计划生成物理计划的过程中，会根据org.apache.spark.sql.execution.Spark...
Spark SQL 之 Join 实现
过往记忆大数据
09-25 436
Join作为SQL中一个重要语法特性，几乎所有稍微复杂一点的数据分析场景都离不开Join，如今Spark SQL(Dataset/DataFrame)已经成为Spark应...
Spark—SparkSQL的几种JOIN实现(left/right/inner)
lehsyh的专栏
05-24 3332
依亲身经历而言，面试官的确有可能会问你JOIN有哪些分类，这时候一定不要慌，让我们一起来看看该怎么回答。 JOIN的基本要素 join条件(ON)、过滤条件(where)、JOIN方式(join/left join/full join等）是构成JOIN的三大基本要素 JOIN的基本实现流程 Spark将参与Join的两张表抽象为流式遍历表(streamIter)和查找表(buildIter)，通常streamIter为大表，buildIter为小表，我们不用担心哪个表为streamIter，哪个表为
left join 优化_Spark join种类(>3种)及join选择依据
weixin_39907316的博客
12-18 404
hashjoinjoin是作为业务开发绕不开的SQL话题，无论是传统的数据库join，还是大数据里的join。做过Spark/flink流处理的应该都用过一种流表和维表的join，维表对于Spark来说可以是driver端获取后广播到每个Executor，然后在executor端执行流表task的时候join，其实大多数是个hashmap，而很多时候这个维表比较大会存储于redis/hb...
Spark SQL join 条件写法遇见的坑 left join 最终被当做inner join执行
吟啸徐行
11-25 1774
SQL1: SELECT lower(trim(user_log_acct)) as user_log_acct, after_prefr_amount_1, sale_qtty, free_goods_sale_qtty, parent_sale_ord_id, ord_flag, shop_id, main_sku_id, item_id
left join优化_玩转Spark Sql优化之SMB Join（五）
weixin_39761491的博客
12-03 471
01PART前言承接Spark Sql优化方案上文，上篇介绍了Spark Sql当中小表join大表可以使用广播join优化，本篇就介绍大表join大表的优化。还是这三张表，这次演示购物车表和支付表的join，两张表的测试数据大小为4.7G和2.3G。02PART三表join三张表先正常进行join,先让两张大表join，再与课程表小表join。package com.atguigu.s...
SparkSQL join
weixin_72649242的博客
12-18 1611
SparkSQL join_type
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值