ACP(MaxCompute篇)-MaxCompute执行计划

最新推荐文章于 2024-08-18 19:43:49 发布
最新推荐文章于 2024-08-18 19:43:49 发布
阅读量196 收藏
点赞数
分类专栏： 阿里云ACP 文章标签： odps 大数据 数据仓库
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/S1124654/article/details/130902432
版权
文章探讨了SQL查询优化的过程，包括利用分区裁剪提升效率，Hash聚集在大表连接时的优势，以及如何解决数据倾斜问题。提出了Mapjoin作为优化大表JOIN的一种方法，同时讨论了针对去重语句的优化策略，提供了两种不同的处理方式来应对大量数据控制的问题。
摘要由CSDN通过智能技术生成

Explain

查看作业运行信息

 

SQL优化过程

 

 分区裁剪

Hash聚集

 

在进行大表join大表的时候效果很好。

对个去重语句场景优化

 

数据倾斜问题

 

 

优化一Mapjoin

 

优化二分别处理

 

 

大量控制的问题

 

 

工作变成艺术
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
maxcompute优化慢执行语句思路
刘涛的博客
11-22 496
大数据慢任务优化
MaxCompute快速入门
szdxltt的博客
09-07 1713
MaxCompute快速入门一、创建和查看表1.登录客户端或者网页2.创建表。3.查看表。二、导入数据Tunnel命令导入数据1.准备数据。2.创建MaxCompute表。3.执行Tunnel命令。4.结果验证。三、运行SQL语句和导出数据1.MaxCompute支持的sql语法。2.导出数据。 一、创建和查看表 1.登录客户端或者网页 运行客户端工具bin目录下的MaxCompute客户端（Linux系统下运行./bin/odpscmd，Windows下运行./bin/odpscmd.bat）登录。首先确
分布式系统MaxCompute/Hadoop日志分析与优化流程
Monkeyhou1992的博客
03-24 596
很久没有认真复盘一下，接着两年前的文章Hadoop性能优化概述-数据膨胀&数据倾斜系统性总结一下优化方案和如何从日志中分析性能卡点，同时方便自己加深印象0.0~我们在提交作业后，一般会分为4各阶段：（1）预处理阶段；（2）编译阶段；（3）执行阶段；（4）结果返回。其中，预处理阶段除了语法、调度配置与参数配置等出现问题外，一般不会成为卡点。我们重点关注复杂任务的编译、执行阶段的优化以及性能卡点。
MaxCompute基本概念和数据类型
热门推荐
Blossom
04-17 1万+
MaxCompute基本概念 MaxCompute的核心概念主要包括：项目、表、分区、生命周期、资源、函数、任务、任务实例（实例）、ACID语义等。MaxComopute常用术语表参见：MaxCompute术语表。 项目（Project） 项目（Project）是MaxCompute的基本组织单元，它类似于传统数据库的Database或Schema的概念，是进行多用户隔离和访问控制的主要边界...
带你玩转Logview: MaxCompute Logview参数详解和问题排查
weixin_34133829的博客
09-03 381
摘要：Logview是MaxCompute Job提交后查看和Debug任务的工具。通过Logview可看到一个Job的运行状态、运行结果以及运行细节和每个步骤的进度。当Job提交到MaxCompute后，会生成Logview的链接，用户可以直接在浏览器上打开Logview链接，进入查看Job的信息，而对于Logview上的诸多参数信息，究竟应该怎么“拨...
阿里云大数据-ACP-MaxCompute
04-27
该文档涵盖了MaxCompute的几乎所有知识点，对于具有ACP考试的同学来说是一个补充，同时也可以为那些在使用阿里云大数据相关产品的人提供帮助。
unionpay-acp-sdk-1.0.0.jar
04-21
不容易下载的jar
【ACP】PMI-ACP Exam Prep
05-22
刚刚考过PMI体系下的ACP，备考ACP敏捷认证必备资料，共享给小伙伴们
ACP-HPC-HP的缓存一致性测试
08-22
在ACP-HPC-HP的缓存一致性测试中，我们需要关注以下几个关键知识点： 1. **缓存一致性协议**：不同的处理器架构可能采用不同的缓存一致性协议，如MESI（Modified、Exclusive、Shared、Invalidated）、MOESI、MESIF...
ANSYS 15.0 ACP-15.0-r18901-win64
05-09
ANSYS 15.0的ACP-15.0-r18901-win64插件，分享给需要用到的朋友
一探究竟：善用 MaxCompute Studio 分析 SQL 作业
weixin_33739523的博客
05-17 127
头疼的问题 MaxCompute 用户一个常见的问题是：同一个周期任务，为什么最近几天比之前慢了很多？或者为什么之前都能按时产出的作业最近经常破线？ 通常来说，引起作业执行变慢的原因有：quota 组资源不足、输入数据量变动、数据分布情况变动、平台硬件故障引发重跑等。本文主要针对数据变动引起的作业慢问题，介绍用户如何通过 MaxCompute Stud...
maxcompute操作_MaxCompute 与 Calcite 的技术和故事
weixin_30569303的博客
12-22 280
摘要：2019大数据技术公开课第一季《技术人生专访》，来自阿里云计算平台事业部高级开发工程师雷春蔚向大家讲述了MaxCompute 与 Calcite 的技术和故事。 具体内容包括： 1） 什么是查询优化器；2）MaxCompute查询优化器的具体实践；3）MaxCompute后续计划；4）从校招到阿里巴巴工程师到Calcite committer，他经历了怎样的个人成长。以下内容根据演讲视频以及...
MaxCompute JOIN优化小结
weixin_33912453的博客
03-15 200
摘要： Join是MaxCompute中最基本的语法，但由于数据量和倾斜问题，非常容易出现性能问题。一般情况下，join产生的问题有两大类： 数据倾斜问题：join会将key相同的数据分发到同一个instance上处理，如果某个key上的数据量特别多则会导致该instance处理时间比其他instance...原文地址：click.aliyun.com/m/43804/ Join是MaxCompu...
MaxCompute执行引擎核心技术DAG揭秘
科技很有意思
08-17 365
作为业界少有的EB级别数据分布式平台，MaxCompute系统每天支撑上千万个分布式作业的运行。在这个量级的作业数目上，毫无疑问平台需要支撑的作业特点也多种多样：既有在"阿里体量"的大数据生态中独有的包含数十万计算节点的超大型作业，也有中小规模的分布式作业。同时不同用户对于不同规模/特点的作业，在运行时间，资源使用效率，数据吞吐率等方面，也有着不同的期待。 Fig.1 MaxCompute线上数据分析 基于作业的不同规模，当前MaxCompute平台提供了两种不同的运行模式，下表对于这两种模式做了总
MaxCompute（ODPS）：Hive的进阶者
五只鸭子的专栏
04-22 4142
Hive概述 架构于Hadoop之上，可以将结构化的HDFS文件映射成一张表，并提供了类似于SQL语法的HQL查询功能 核心本质：将HQL语句转换成MapReduce任务 Hive的主要优缺点 优点： 避免了开发人员去实现Map和Reduce的接口，大大降低了学习成本 HQL语法类似于SQL语法，简单、容易上手 缺点： 执行效率比较低 Hive生成的MapReduce任务，不够智能化，容易造成数据倾斜 Hive架构图 每个模块负责的内容： Meta Store: 元数据，一般存储在mysql Client
MaxComputeSql性能调优
weixin_34128839的博客
10-18 367
转载自xiaorui 部分用户(尤其对外输出)使用MaxCompute(原Odps)时，由于对产品的使用层面和执行层面了解程度不同，导致提交的任务执行时间过长、占用了较多集群资源；严重的会导致失败、不仅需要投入支持同学精力协助解决、也影响了用户正常业务。 合并整理部分性能提升方法方便支持用户查询和优化Sql，提高效率；部分需要原来手...
ETLCloud+MaxCompute实现云数据仓库的高效实时同步
RestCloud微服务治理及快速开发平台
08-10 1470
MaxCompute是适用于数据分析场景的企业级SaaS（Software as a Service）模式云数据仓库，以Serverless架构提供快速、全托管的在线数据仓库服务，消除了传统数据平台在资源扩展性和弹性方面的限制，最小化用户运维投入，使您可以经济并高效地分析处理海量数据。ETLCloud是一款零代码ETL工具，可以快速对接上百种数据源和应用系统，无需编码即可快速完成数据同步和传输，企业IT人员只需简单几步即可快速完成各种数据抽取同步并配合BI工具实现数据的统计分析。分钟即可完成同步配置。
Spark MLlib 特征工程(上)
08-14 4701
特征选择的动机，在于提取与预测标的关联度更高的特征，从而精简模型尺寸、提升模型泛化能力。特征选择可以从两方面入手，业务出发的专家经验和基于数据的统计分析。归一化的目的，在于去掉不同特征之间量纲的影响，避免量纲不一致而导致的梯度下降震荡、模型收敛效率低下等问题。归一化的具体做法，是把不同特征都缩放到同一个值域。在这方面，Spark MLlib 提供了多种归一化方法供开发者选择。
hive学习（三）
最新发布
2301_79721847的博客
08-18 154
注：需要注意的是，这里就算直接把txt文件的数据存放到hdfs上表对应的存储目录，那么在select * FROM时也能查出后来添加的数据，因为建表定义存放位置时，实际是指向具体的文件，将文件映射成表结构展示出来。概念：将表的数据分目录存储，存储在不同的文件夹下，然后按照不同的目录查询数据，不需要进行全量扫描，提升查询效率。2）location可以指定（存放在数据存放的具体目录），也可以不指定。注：1）分区字段不能是表中已经存在的字段。2）分区字段可以不止一个，可以设置多个。5.内部表和外部表的区别。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

工作变成艺术

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值