数仓SQL规范及最佳实践（基于ODPS）

最新推荐文章于 2024-06-27 09:14:41 发布
最新推荐文章于 2024-06-27 09:14:41 发布
阅读量1.3k 收藏 3
点赞数 3
分类专栏： # └ 问题和案例集锦 大数据 # └ 数据仓库 文章标签： 数据库 hive odps SQL规范 maxcompute
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-NC-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zgdwxp/article/details/103871012
版权
该博客总结了在ODPS环境下进行数据开发时的SQL规范，包括语法排版、命名规则、参数处理和开发环境的选择。强调了避免使用Select *，采用AS别名，以及充分利用参数和IDE提升开发效率。同时，文中提到了性能相关要点，如分区裁剪、列裁剪和并行计算，旨在提高查询和计算效率。
摘要由CSDN通过智能技术生成

日常数据开发中，遇到过不少问题，最终沉淀为SQL规范。简单整理抛出来，欢迎指正和讨论。

语法和规范

排版

• 自行定义的内容全部小写，ODPS或其他约定关键字大写
• SQL需要有格式，单行长度不能超过80，不同含义语段需要缩进

命名与关键字

• SQL中不能出现Select *，只获取需要的字段，方便计算引擎做列裁剪
• SQL中Select的字段需要加 AS 别名，方便code review
• SQL中的表名，请书写 库名.表名 （在DataWorks里是 工作空间名.表名）

参数和常量

• SQL中不能直接写数字，如应用类型等枚举，可以在数据开发中配置参数、然后sql中引用参数即可
• 是否改成UDF

开发环境

• 脚本建议使用IDE开发（Idea插件）
• 注意开发后需提交任务才生效

其他（部分适用于关系数据库）

  1. SQL样式指南（SQL Style Guide）：https://www.sqlstyle.guide/zh/
  2. SQL如果有多条语句，需要考虑语句是否可以并行跑（如果可以，需要拆分成多个脚本）
    与多路输出减少计算量原则有冲突，需要谨
最低0.47元/天 解锁文章
王大雄_
关注
专栏目录
ODPS 之SQL
scott198512的博客
12-29 3270
SQL语法
数据仓库建设之数据规范(一)--sql编码规范
02-18 840
1.编码原则 （1）功能完善：结果输出正确。 （2）执行效率最优：代码优化的方法。 （3）可读性强：复杂的处理加上注解，代码结构整齐。 （4）统一缩紧单位：4个空格为一个缩紧单位。 （5）尽量不使用select*，需要明确指定列名。 （6）对应的括号使用在同一列上对齐。 2.编码规范 (1)增加头部注释，模版如下： ...
ODSP sql 实战
最新发布
Code365
06-27 350
------+-------+------+------+--------+ | year | month | day | hour | minute | +------+-------+------+------+--------+ | 2019 | 5 | 1 | 11 | 21 | +------+-------+------+------+--------+odps@ multi>--'2010-24-01'不是标准日期值，引发异常，应该为'2010-01-24'。
数据仓库之SQL规范
weixin_39653050的博客
02-14 248
select后字段换行， 逗号放字段前面。 from相对应同一select 空2格 后面直接是表的， 不换行 是子查询的 左括号换行，较from缩进2个空格 select换行， 较左括号缩进2个空格 where开头与from对齐 where里有多个条件， 换行处理 and或or相对应where前面空两格 group by开头与from、where对齐 join、left outer join、 right outer join、 full outer join等与from对齐 .
数仓规范|使SQL更易于阅读的几个小技巧
jmx_bigdata的博客
07-09 642
无论是数仓开发还是数据分析，写一手好的SQL是一项基本的技能。毋庸置疑，编写性能较好的SQL是非常重要的，但是，SQL的可读性同样是不容小觑的。一个有着混乱格式的SQL脚本，往往需要花费较长的时间去弄清楚脚本的具体逻辑。如果你曾经被祖传的毫无章法的SQL脚本狂虐过，你一定心有感触。本文将分享几个SQL格式的规范，当然仁者见仁智者见智，其实没有严格的标准，如果有，那就是保证易于阅读和易于维护。 秦人不暇自哀，而后人哀之；后人哀之而不鉴之，亦使后人而复哀后人也 大小写保持一致 可以对SQL关键字使用不同的.
数据仓库SQL编码规范
Azoner的博客
05-17 903
业务域中文名业务域命名业务域命名（缩写）命名示例浙二浙江省第二人民医院zher余杭余杭区卫健委yhwjw桐庐桐庐卫健委tlwjw余杭区第一人民医院余杭区第一人民医院yh1数据域中文名数据域命名数据域命名（缩写）命名示例门诊outpatientoutp住院inpatientInp检验LisLis检查risRis病案Mrsmrs电子病历Emremr费用Feefee随访followupfollowup。
BI_ODPS-D2-离线数仓-8-QuickBI展示
__init__的博客
03-22 431
BI_ODPS-D2-离线数仓-8-QuickBI展示 （上周学会使用句号） 对RDS的gmall_adb数据库中的表做结果展示。 (提供DataV和QuickBI两种方式这里选择QuickBI) 三个点 1.数据集：每一个图标对应一个数据集，一个数据集也对应数据库的一张表。 2.维度：要展示的信息。如类型、状态、性别、地区等。 量度：要展示的信息的值。如可以汇总求和的信息，像交易额、数量、人次等...
ODPS技术架构及应用实践
01-30
ODPS是分布式的海量数据处理平台，提供了丰富的数据处理功能和灵活的编程框架。...2.SQL：基于SQL92并进行了本地化扩展，可用于构建大规模数据仓库和企业BI系统，是应用最为广泛的一类服务。3.DAG编程模型：类似Hadoo
阿里云odpsSql手册1
08-03
阿里云odpsSql手册1摘要 大数据计算服务MaxCompute SQL概要介绍_MAXCompute SQL是一种面向海量数据（TB级别）的计算服务，适用于实时性要求不高的场合。 MaxCompute SQL的每个作业的准备、提交等阶段需要花费较长...
阿里云-ODPS SQL-日常开发日期、字符、数学运算、聚合函数函数使用技巧
fyydlz的博客
01-18 3979
数据仓库，是一个面向主题的、集成的、随时间变化的、信息本身相对稳定的数据集合。数据仓库从Oracle（单机、RAC)，到MPP(Green plum)，到Hadoop(Hive、Tez、Sprak)，再到批流一体Flink/Blink、数据湖等，SQL都是其主流的数据处理工具。海量数据下的高效数据流转，是数据分析朋友们必须直面的一个挑战。本文结合阿里自研的ODPS平台，从自身工作出发，总结日常使用过程中的SQL的一些日期、字符、数学运算、聚合函数函数使用技巧。
数据库创建emp和dept练习表
热门推荐
啊哈程序
05-03 1万+
--新数据库 create database name1 --创建dept表 use  name1 create table dept ( deptno int primary key, dname varchar(30), loc varchar(30), ); --创建emp表 create table emp (empno int pr
《ODPS权威指南》笔记
DreamMaker_DI的博客
09-21 566
《ODPS权威指南》笔记 ODPS简介 ODPS是什么 **ODPS（Open Data Processing Services）**是一个海量数据处理平台，提供大数据处理的云计算服务，基于阿里巴巴自主研发的分布式操作系统开发，主要提供结构化和半结构化数据的存储和计算。 ODPS的作用 基于SQL构建大规模数据仓库和企业BI系统 于DAG和Graph等分布式编程模型开发数据应用 基于统计和机器学习算法开发大数据统计模型和数据挖掘 ODPS的架构 ODPS执行计划 CREATE TABLE dw_log_
MaxCompute（原ODPS）开发入门指南——数据上云篇
weixin_34253126的博客
06-07 739
MaxCompute（原ODPS）开发入门指南——数据上云篇 写在最前面 >>>进入了解更多>>>阿里云数加·MaxCompute大数据计算服务. 根据《MaxCompute（原ODPS）开发入门指南——计量计费篇》的了解，大家清楚了MaxCompute可以做什么，计费模式如何，想必大家也开通了MaxCompute想进...
DataWorks开发ODPS SQL开发生产环境自动补全ProjectName
阿里云技术
06-24 618
本文针对此类场景实现在DataWorks能够自动识别任务在开发环境使用开发环境的名称，在生产环境使用生产环境的名称。
【数据库】sql语句的基本书写规范，数据库基本书写方法和注意事项（基于mysql）
chirp_CQ的博客
09-21 4588
sql语句的基本语法查询语句 select打印字符多列查询：筛选条件 whereDISTICT关键字防重复插入语句insert into更新语句updatesql语句的大小写问题 简单范例： select * from courses where name = “李明”; 上面这句sql的作用就是查询courses表中姓名为李明的人的所有信息（未关联表的情况下的信息） 注意所有的sql语句以分号;结束 注意下面的 查询语句 select 打印字符 select "Hello SQL!"; 直接将要打印的内容
12条SQL不起眼的数仓调优技巧
大数据星球-浪尖
01-11 153
作者：KubeData本文是作者本人做数仓调优时，所经常使用的SQL调优技巧，这些“技巧”也是经过日常不断摸索、问题排查以及网络检索并且经过本人在线上大规模使用过的，对于下面这12条（不算多，但特别有用）调优小“技巧”，希望能帮助阅读本文的同学能够在日常编写分析语句时，提升任务执行的效率。当然也希望你能谨记并养成一种调优习惯，那么无论对于工作还是面试都是有利无害。请记住：在数据处理中，不怕数据量...
阿里云Dataworks
m0_51539361的博客
11-16 4305
Dataworks 介绍 Dataworks是阿里云数据工厂是阿里云重要的产品，主要提供：数据集成、数据开发、数据地图、数据质量，数据服务等全方位的产品服务，一站式开发管理的界面，支持多种计算和存储引擎服务 一、建表并上传数据 一、创建表 首先我们要在工作空间中配置MaxCompute 1、进入数据开发页面 登录控制台 在左侧导航栏，单击工作空间列表 选择工作空间所在地域，单击相应工作空间后进行数据开发 2、在数据开发界面，点击新建MaxCompute，表 3、在新建表对话中，输入表名字，提交， 表明命名规
ODPS技术详解：分布式数据处理与应用实践
"ODPS技术架构及应用实践" ODPS（Open Data Processing Service）是一个专为大数据处理设计的分布式平台，它提供了全面的数据处理功能和高度灵活的编程框架。ODPS的核心组件包括： 1. Tunnel服务：作为数据传输的...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值