MaxCompute的SQL计费预估整理（只看标准SQL作业和SpotSQL作业）

最新推荐文章于 2024-09-26 21:04:50 发布
最新推荐文章于 2024-09-26 21:04:50 发布
阅读量1.3k 收藏 34
点赞数 28
分类专栏： MaxCompute 文章标签： odps sql 数据库
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_41009521/article/details/135021974
版权

MaxCompute官方文档

虽然在DataWorks工作台和数据分析台有估算费用功能，但是如果从其他地方查询（比如公司的可视化平台）是没办法使用估算功能看每一条数据费用的。基于此进行MaxCompute的SQL计费预估整理。
P.S.：费用预估是按照MaxCompute的SQL作业按量付费来进行计算和统计的。这里只看标准SQL作业和SpotSQL作业：

  • 标准SQL作业：指使用按量付费标准版计算配额的SQL作业
  • SpotSQL作业：指使用按量付费闲时版计算配额的SQL作业
    在这里插入图片描述

执行失败的SQL作业不计费。
与存储类似，SQL作业的输入量是以压缩后的量计费。
账单和下载的数据记录中，数据量的单位是Byte，需要除以1024³换算为GB。
不支持预估外部表参与计算的SQL作业费用。

获取Information Schema服务

  1. 自2020年12月1日起，对于新创建的MaxCompute项目，MaxCompute默认提供Information
    Schema相关的元数据视图，无需手工安装Information Schema权限包。

  2. 对于存量MaxCompute项目，在您开始使用Information Schema服务前，需要以项目所有者（Project Owner）或具备Super_Administrato管理角色的RAM用户身份安装Information
    Schema权限包，获得访问项目元数据的权限。

    • 在DataWorks在对应项目下新建临时查询，然后输入install package Information_Schema.systables;，运行。在这里插入图片描述
    • 在MaxCompute客户端内输入use 项目名进入对应项目，然后输入install package Information_Schema.systables;，运行。
      在这里插入图片描述

如果统计多个MaxCompute项目的元数据，您需要分别对各个MaxCompute项目安装Information Schema权限包。然后把各个MaxCompute项目的元数据的备份数据插入到同一个表中做集中统计分析。

下载并备份元数据

  1. 在MaxCompute项目上创建元数据备份表，并定时将元数据写入备份表中。

直接使用元数据表也可以得到数据，但是如果要在别的地方（比如Superset）是无法使用的，所以跟着官方文档做元数据备份表是有必要的。在这里插入图片描述

--project_name为MaxCompute项目名称。
CREATE TABLE IF NOT EXISTS qc_user_behavior.information_history(
	task_catalog STRING COMMENT '任务所在项目名称',
	task_schema STRING,
	task_name STRING COMMENT '作业名称',
	task_type STRING COMMENT '作业类型',
	inst_id STRING COMMENT '作业实例ID',
	`status` STRING COMMENT '数据采集瞬间的运行状态作业状态',
	owner_id STRING COMMENT '作业提交人阿里云账号ID',
	owner_name STRING COMMENT '作业提交人阿里云账号名称',
	result STRING COMMENT '作业执行错误信息',
	start_time DATETIME COMMENT '作业启动时间',
	end_time DATETIME COMMENT '作业结束时间',
	input_records BIGINT COMMENT '输入记录数',
	output_records BIGINT COMMENT '输出记录数',
	input_bytes BIGINT COMMENT '输入数据量',
	output_bytes BIGINT COMMENT '输出数据量',
	input_tables STRING COMMENT '输入表列表',
	output_tables STRING COMMENT '输出表列表',
	operation_text STRING COMMENT '作业语句',
	signature STRING COMMENT '作业签名',
	complexity DOUBLE COMMENT 'SQL作业复杂度',
	cost_cpu DOUBLE COMMENT '作业CPU消耗',
	cost_mem DOUBLE COMMENT '作业内存消耗',
	settings STRING COMMENT '上层调度或用户传入的信息',
	ds STRING COMMENT '按作业的end_time的UTC+8时区划分归档。'
) 
PARTITIONED BY (dt STRING COMMENT '时间分区') 
STORED AS ALIORC  
TBLPROPERTIES ('comment'='元数据备份');

如果是追加插入数据的话分区可用可不用，ds一样可以过滤出需要的数据ds的格式为'YYYYMMDD'（ds=20231215）。

字段类型值
task_catalogSTRING任务所在项目名称。
task_schemaSTRING
task_nameSTRING作业名称。
task_typeSTRING作业类型。取值：
SQL：SQL作业。
CUPID：Spark或Mars作业。。
SQLCost：SQL预估作业。。
SQLRT：查询加速SQL作业。。
LOT：MapReduce作业。。
PS：PAI的Parameter Server。。
AlgoTask：机器学习作业（无资源消耗和数据扫描相关信息）。
inst_idSTRING作业实例ID。
statusSTRING数据采集瞬间的运行状态（非实时状态）作业状态。取值包括：Terminated：作业已执行结束。Failed：作业失败。Cancelled：作业被取消。
owner_idSTRING作业提交人阿里云账号ID。
owner_nameSTRING作业提交人阿里云账号名称。
resultSTRING作业执行错误信息。
start_timeDATATIME作业启动时间。
end_timeDATATIME作业结束时间。
input_recordsBIGINT输入记录数。
output_recordsBIGINT输出记录数。
input_bytesBIGINT输入数据量，单位：字节（Byte）。
output_bytesBIGINT输出数据量，单位：字节（Byte）。
input_tablesSTRING输入表列表，仅SQL类型作业。
output_tablesSTRING输出表列表，仅SQL类型作业。
operation_textSTRING作业语句，最大限制256 KB。
signatureSTRING作业签名。
complexityDOUBLESQL作业复杂度。
cost_cpuDOUBLE作业CPU消耗（100表示1 core× 1 s。例如：10 core运行5s，cost_cpu为10×100×5=5000）。
cost_memDOUBLE作业内存消耗，值为：MB×seconds。
settingsSTRING上层调度或用户传入的信息，以JSON格式存储。包含字段：USERAGENT、BIZID、SKYNET_ID和SKYNET_NODENAME等。
dsSTRING数据归档日期。按作业的end_time的UTC+8时区划分归档。
  1. 导入数据
insert into table <project_name>.information_history select * from information_schema.tasks_history where ds ='${yyyymmdd}';

information_schema.tasks_history是项目租户级别的元数据表。

  • 表内数据为各个项目内已完成的作业历史。
  • 分区表（查询的时候要加ds，分区格式为'yyyymmdd'），保留近14天数据。
  • 与在线数据存在一定延迟，延迟时间为5分钟左右。

查看费用及耗时作业

information_schema.tasks_history表中有一个settings字段，里面会记录上层调度或用户传入的信息，以JSON格式存储。包含的具体信息有：USERAGENT、BIZID、SKYNET_ID和SKYNET_NODENAME等。如果需要计算TOPN费用账号及耗时作业的话需要setting字段，只查看单条SQL费用不需要。

1. 基础查看单条SQL费用

单条SQL费用计算公式（摘抄自官方文档）：

task_type = 'SQL' -> input_bytes/1024/1024/1024 * complexity * 0.3
task_type = 'SQLRT' -> input_bytes/1024/1024/1024 * complexity * 0.3
task_type = 'CUPID' and status='Terminated' -> cost_cpu/100/3600 * 0.66

根据上面列comment可知input_bytes为输入数据量，单位：字节（Byte）；cost_cpu为作业CPU消耗（100表示1 core× 1 s）；complexity为复杂度。

代码：

--开启2.0数据类型开关。
set odps.sql.decimal.odps2=true;
SELECT
    inst_id,
    owner_name,
    task_type,
    input_bytes,
    cost_cpu,
    status,
    CASE
        WHEN task_type = 'SQL' THEN cast(
            input_bytes / 1024 / 1024 / 1024 * complexity * 0.3 AS DECIMAL(18, 5)
        )
        WHEN task_type = 'SQLRT' THEN cast(
            input_bytes / 1024 / 1024 / 1024 * complexity * 0.3 AS DECIMAL(18, 5)
        )
        WHEN task_type = 'CUPID'
        AND status = 'Terminated' THEN cast(cost_cpu / 100 / 3600 * 0.66 AS DECIMAL(18, 5))
        ELSE 0
    END cost_sum,
    settings,
   
FROM
    information_history
WHERE
    ds = '${datetime1}'

[1] 不开启2.0数据类型开关的话不要用DECIMAL(18, 5)
[2] '${datetime1}'格式为yyyymmdd

2.统计账号费用的明细

settings中的SKYNET_ONDUTY内容是MaxCompute用户的user_id，可以根据user_id来得到该条SQL是谁发出。user_id对应的用户名可以在权限管理里获取到。
在这里插入图片描述
在这里插入图片描述

1.创建一张RAM用户明细表user_ram，记录需要统计的账号及账号ID。

create table if not exists <project_name>.user_ram
(
    user_id STRING
    ,user_name STRING
);

2.创建一张统计账号费用的明细表cost_topn，记录TOPN费用账号明细

create table if not exists <project_name>.cost_topn
(
    cost_sum DECIMAL(38,5)
    ,task_owner STRING
)
partitioned by 
(
    ds STRING
);

3.将数据写入cost_topn

--开启2.0数据类型开关。
SET odps.sql.decimal.odps2 = TRUE;

--将元数据写入cost_topn表。user_id为账号ID。您可以在个人信息页面查看账号ID。
INSERT INTO TABLE cost_topn PARTITION (ds = '${datetime1}')
SELECT
    nvl(cost_sum, 0) cost_sum,
	CASE	WHEN a.task_owner = '设置好的user_id1'
        	OR a.task_owner = '设置好的user_id2'
        	OR a.task_owner = '设置好的user_id3' THEN b.user_name
	ELSE a.task_owner
    END task_owner
FROM
    (
        SELECT
            inst_id,
            owner_name,
            task_type,
            a.input_bytes,
            a.cost_cpu,
            a.status,
			CASE	WHEN a.task_type = 'SQL' THEN cast(
                    a.input_bytes / 1024 / 1024 / 1024 * a.complexity * 0.3 AS DECIMAL(18, 5)
                )
                	WHEN a.task_type = 'SQLRT' THEN cast(
                    a.input_bytes / 1024 / 1024 / 1024 * a.complexity * 0.3 AS DECIMAL(18, 5)
                )
                	WHEN a.task_type = 'CUPID'
                	AND a.status = 'Terminated' THEN cast(a.cost_cpu / 100 / 3600 * 0.66 AS DECIMAL(18, 5))
            ELSE 0
            END cost_sum,
            a.settings,
            get_json_object(settings, "$.SKYNET_ONDUTY") owner,
			CASE	WHEN get_json_object(a.settings, "$.SKYNET_ONDUTY") IS NULL THEN owner_name
            ELSE get_json_object(a.settings, "$.SKYNET_ONDUTY")
            END task_owner
        FROM
            information_history
        WHERE
            ds = '${datetime1}'
    ) a
LEFT JOIN user_ram b ON a.task_owner = b.user_id;

3.统计耗时作业的明细

1.建一张统计耗时作业的明细表time_topn，记录TOPN耗时作业明细

create table if not exists time_topn
(
    inst_id STRING
    ,cost_time BIGINT
    ,task_owner STRING
)
partitioned by 
(
    ds STRING
);

2.将数据写入time_topn

INSERT INTO TABLE time_topn PARTITION(ds = '${datetime1}')
SELECT
    inst_id,
    cost_time,
    CASE    WHEN a.task_owner = '设置好的user_id1'
            OR a.task_owner = '设置好的user_id2'
            OR a.task_owner = '设置好的user_id3' THEN b.user_name
    ELSE a.task_owner
    END task_owner
FROM
    (
        SELECT
            inst_id,
            task_type,
            status,
            datediff(a.end_time, a.start_time, 'ss') AS cost_time,
            CASE    WHEN get_json_object(a.settings, "$.SKYNET_ONDUTY") IS NULL THEN owner_name
            ELSE get_json_object(a.settings, "$.SKYNET_ONDUTY")
            END task_owner
        FROM
            information_history a
        WHERE
            ds = '${datetime1}'
    ) a
    LEFT JOIN user_ram b ON a.task_owner = b.user_id;

后续可能会更新整理（画饼中）

MaxCompute文档参考地址

[1] 统计MaxCompute TOPN费用账号及耗时作业
[2] 租户级别Information Schema
[3]MaxCompute技术人背后的故事：从ApacheORC到AliORC
[4]计算费用（按量付费）

_Cile
关注
专栏目录
让我们用sql估算缺失值
weixin_26720761的博客
09-05 1033
Missing values are a huge problem in machine learning. In a day and age when machine learning can be done directly in the database, one wonders how to perform adequate data preparation with SQL, witho...
基于MaxCompute SQL 的半结构化数据处理实践
阿里云云栖号
09-27 1093
简介：MaxCompute作为企业级数据仓库服务，集中存储和管理企业数据资产、面向数据应用处理和分析数据，将数据转换为业务洞察。通过与阿里云内、外部服务灵活组合，可构建丰富的数据应用。全托管的数据与分析解决方案，可简化平台运维、管理投入，提升面向业务的服务能力，加速价值实现。 本文作者 孔亮 阿里云智能 产品专家 一、MaxCompute 基础介绍 阿里云数据与分析产品解决方案 MaxCompute作为企业级数据仓库服务，集中存储和管理企业数据资产、面向数据应用处理和分析数据，将数据转换为业务洞察.
帮助企业做好MaxCompute大数据平台成本优化的最佳实践
weixin_34375233的博客
11-20 302
阿里云大数据计算服务MaxCompute通过灵活性、简单性和创新为您企业的业务环境带来了变革，但是您企业是否通过其实现了原本预期的节省成本的目标呢?本文中，我们将为广大读者诸君介绍优化您企业MaxCompute开销的一些关键性的策略。 　　 自从MaxCompute于2010年进入市场以来，计算服务MaxCompute就已然永远地改变了整个IT世界了。...
一条SQL语句的成本估算
weixin_33671935的博客
03-12 353
创建表 create table t1 as select trunc(dbms_random.value(0,25)) n1, rpad('x',40) ind_pad, trunc(dbms_random.value(0,20)) n2, lpad(rownum,10,'0') small_vc, rpad...
21分钟教会你分析MaxCompute账单
测试0901-1
01-16 215
21分钟教会你分析MaxCompute账单 背景 阿里云大计算服务MaxCompute是一款商业化的大数据分析平台，其计算资源有预付费和后付费两种计费方式。并且产品每天按照project为维度进行计量计费（账单基本情况下会第二天6点前产出）。本文使用的为云上客户真实数据，故在下文中的截图都mask掉了。 关于MaxCompute计量计费说明，详见官方文档...
MaxCompute计费命令详解
weixin_34301307的博客
01-20 537
MaxCompute有两种计费模式，预付费和按量付费，其中预付费是包月计算资源CU，MR和SQL作业的用户不用单独支付费用。按量付费的SQL是按照参与运算的数据量（3-5倍压缩）及SQL复杂度后结算，MR是根据任务消耗的计算时后结算，具体参考官方文档：https://help.aliyun.com/document_detail/27989.html ...
基于 MaxCompute SQL 的半结构化数据处理实践
阿里云技术
09-27 260
一、MaxCompute 基础介绍 阿里云数据与分析产品解决方案 MaxCompute作为企业级数据仓库服务，集中存储和管理企业数据资产、面向数据应用处理和分析数据，将数据转换为业务洞察。通过与阿里云内、外部服务灵活组合，可构建丰富的数据应用。全托管的数据与分析解决方案，可简化平台运维、管理投入，提升面向业务的服务能力，加速价值实现。 从下图可以看出 MaxCompute 是处于一个核心位置，首先 MaxCompute 是一个数据仓库，而且是一个基于 Serverless架构超大规模集群产品，具备安全
阿里大数据计算服务MaxCompute-计量计费D.docx
10-11
- **包年包月预付费**：未提供具体的计费公式，但可以预估为根据存储和计算需求购买一定容量的资源，然后按照所购买的套餐付费。 **费用结算**： 账单通常在计费周期结束后3小时内生成，最迟不超过6小时。费用会...
SQL优化与索引设计 经典实战案例+原理思路详解
生成式AI应用架构与技术分享，实战架构案例和源码技术方案，前沿技术研究与科普
09-07 1641
SQL优化与索引使用是后端开发的重要技能之一，也是区分后端开发能力强弱的关键技能之一，但其涉及的知识理论之广之深，任拿其中一点都足以成书。正如培养一个飞行员，不单单要有理论和地面模拟试驾，更要有足够的驾驶战机飞行时间，在能充分掌握SQL优化和索引的大部分理论后，充足丰富的SQL优化经验对于该项能力的磨练十分关键，纸上得来终觉浅，觉知此事要躬行。本文分享了近期工作中遇到的两个经典case，在解决过程中运用实践了大量理论，愿在文中的相处，能为你带来工作与生活中的灵感。
MaxCompute 费用暴涨之存储压缩率降低导致SQL输入量变大
chikuai9995的博客
06-26 105
现象：同样的SQL，每天处理的数据行数差不多，但是费用突然暴涨甚至会翻数倍。 分析： 我们先明确MaxCompute SQL后付费的计费公式：一条SQL执行的费用=扫描输入量 ️ SQL复杂度 ️ 0.3(￥/GB)。 变量主要是输入量和复杂度，如果SQL没有变更的情况下复杂度度也没有变...
三分钟教你学会分析MaxCompute消费明细
yunqishequ1的博客
11-20 713
点击有惊喜 很多用户经常被MaxCompute收费所困扰，比如执行了一条 select xxx from yyy 然后扣费1元 ，使用了机器学习后扣了1分钱，不知道如何查询到明细，也无法做优化。 接下来，我来教大家学习如何通过控制台消费功能查看你在MaxCompute（DataWorks/Studio）中每一条SQL/MR计算、存储、下载的消费明细。
ETLCloud+MaxCompute实现云数据仓库的高效实时同步
RestCloud微服务治理及快速开发平台
08-10 1509
MaxCompute是适用于数据分析场景的企业级SaaS（Software as a Service）模式云数据仓库，以Serverless架构提供快速、全托管的在线数据仓库服务，消除了传统数据平台在资源扩展性和弹性方面的限制，最小化用户运维投入，使您可以经济并高效地分析处理海量数据。ETLCloud是一款零代码ETL工具，可以快速对接上百种数据源和应用系统，无需编码即可快速完成数据同步和传输，企业IT人员只需简单几步即可快速完成各种数据抽取同步并配合BI工具实现数据的统计分析。分钟即可完成同步配置。
Transact-SQL概述（SQL Server 2022）
brucexia的专栏
09-23 1269
Transact-SQL是Microsoft公司在关系数据库管理系统SQL Server中的SQL3标准的实现，是微软对SQL的扩展。在SQL Server中，所有与服务器实例的通信都是通过发送Transact-SQL语句到服务器来实现的。根据其完成的具体功能，可以将Transact-SQL语句分为四大类，分别为数据操作语句、数据定义语句、数据控制语句和一些附加的语言元素。
SQL 查询优化与实战
qq_63170044的博客
09-26 656
SQL 查询优化不仅仅是提高系统性能的重要手段，更是确保数据库在高并发环境下稳定运行的核心技能。通过合理使用索引、优化。
【达梦数据库】存储过程统计模式下表信息-SQL改写
最新发布
weixin_47686079的博客
09-26 232
在一次Oracle迁移Dm的过程中，源库&目的库大小写均敏感，执行客户提供的SQL脚本的过程中发现，表ip_address被系统默认成了表IP_ADDRESS。经过分析，客户提供的SQL没有使用双引号，来确保Oracle和Dm数据库按照指定的大小写来识别表名，因此，做以下改写。
使用 Bedrock 模型进行 SQL 查询生成：高效自动化的全新体验！
因果律的博客
09-20 1145
本文介绍了如何利用 Amazon Bedrock 模型和 Amazon SageMaker 服务生成 SQL 查询。首先，了解亚马逊的战略框架 Bedrock 模型和全托管的机器学习服务 SageMaker。然后，详细说明了验证 Bedrock 模型访问权限、创建 SageMaker Notebook 实例、启动 Jupyter Notebook，以及运行 Python 代码来配置输入参数和初始化 Antropic Claude V2 模型。最终，通过模型生成了所需的 SQL 查询语句，提高了开发效率。
SQL 基础语法
ning的博客
09-23 763
SQL是一种声明式编程语言，用于执行数据库查询和管理。它支持数据的增删改查（CRUD）操作，并允许用户定义数据结构和访问权限。SQL作为数据库操作的基石，其重要性不言而喻。通过本文的介绍，读者应能够掌握SQL的基础语法和常用操作，为进一步的数据库学习打下坚实的基础。SQL的学习是一个不断实践和积累的过程，希望读者能在实际项目中不断探索和应用SQL的强大功能。版权声明：本博客内容为原创，转载请保留原文链接及作者信息。参考文章史上最全SQL基础知识总结(理论+举例)-CSDN博客SQL 语法 | 菜鸟教程。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值