数据仓库ods层是啥意思_数据仓库命名规范总结

最新推荐文章于 2024-09-26 10:17:08 发布
最新推荐文章于 2024-09-26 10:17:08 发布
阅读量2.6k 收藏 7
点赞数
文章标签： 数据仓库ods层是啥意思
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_42351606/article/details/112263827
版权
阿里云数据仓库架构

链接地址：https://www.aliyun.com/solution/datavexpo/datawarehouse?spm=5176.19720258.J_8058803260.773.e9392c4aH0umsR

cd340d242400fc6ebdacb5e31c127c23.png

数据仓库命名总结

01 - 数仓名词解释

名词缩写

中文释义

备注

ODS(Operation Data Store)

原始数据层

DWD(data warehouse detail)

明细数据层

DWS(data warehouse service)

服务数据层

ADS(Application Data Store)

数据应用层

DIM(Dimension)

维度层

维度层可放入Dwd

02 - 注释

所有表要加中文注释

所有字段要加中文注释

03 - ODS 层命名规则

前缀为ods_来源(缩写)_数据表名。数据表名称必须以有特征含义的单词或缩写组成，中间可以用“_”分割，例如：ods_oa_studentinfo。表名称不能用双引号包含，表名长度不超过30个字符。埋点数据全部以log结尾，业务数据以db结尾或者不填如果ODS设计采用贴源设计，数据表名应与源系统一致。

应用系统和数据源名称对应规则：

最低0.47元/天 解锁文章
余雅琪
关注
Hive_数仓分层理论及命名规范
qq_56870570的博客
08-19 2743
1. 数仓分层框架 ODS层：原始数据层，存放原始数据，直接加载原始日志、数据，数据保持原貌不做处理。 DWD层：对ODS层数据进行清洗（去除空值，脏数据，超过极限范围的数据）、脱敏等。保存业务事实明细，一行信息代表一次业务行为，例如一次下单。 DIM层：维度层，保存维度数据，主要是对业务事实的描述信息，例如何人，何时，何地等。 DWS层：以DWD为基础，按天进行轻度汇总。一行信息代表一个主题对象一天的汇总行为，例如一个用户一天下单次数（按天）。 DWT层：以DWS为基础，对数据进行累积汇总.
8.数据仓库之ODS层搭建
Mmj666的博客
07-14 1532
8.数据仓库之ODS层搭建
数据仓库命名规范
chbxw
08-04 1859
文章目录数据仓库命名规范1. 概述2. 数据仓库命名规范2.1. 命名规范2.1.1. 表属性规范2.1.1.1. 表名2.1.1.1.1. ODS层表名2.1.1.1.2. DW事实表表名2.1.1.1.3. APP应用层表名2.1.1.1.4. DW/DM维度表表名2.1.1.1.5. 元数据表名2.1.1.2. 表分区名2.1.1.3. 字段名2.1.1.5. 主键名2.1.1.6. 外键名2.1.2. 索引2.1.2.1. 普通索引2.1.2.2. 主键索引2.1.2.3. 唯一索引2.1.2.4.
数据仓库ODS层详解- 功能、设计与最佳实践
一个8年大数据开发工程师的碎碎念
07-28 4519
数据仓库ODS层是大数据分析的基石,为企业决策提供可靠数据源。本文深入探讨ODS层设计原则、实施要点和最佳实践,涵盖金融、零售等行业应用。重点关注云环境下ODS层部署策略,以及实时数据集成、数据湖技术等创新趋势。文章还分析了数据体量增长、实时性需求等挑战,提供实用解决方案。whether助您构建高效、安全、可扩展的ODS层,为数字化转型奠定坚实基础。#数据仓库 #ODS层 #大数据分析 #云计算 #数据湖
数据建模之ODS层命名规范及质量规范
u010739163的博客
08-11 1607
命名规范 表命名规范表命名规则：{层次}{源系统表名}{保留位/delta与否}。 增量数据：ods_{库名}_{表名}_{id}。 全量数据：ods_{库名}_{表名}。 ODS ETL过程的临时表：tmp_{临时表所在过程的输出表}_{从0开始的序号}。 按小时同步的增量表：ods_{库名}_{表名}_{ih}。 按小时同步的全量表：ods_{库名}_{表名}_{hh}。 ps：如果库名可能重复，可使用编码来代替库名 字段命名规范 字段默认使用源系统的字段名。 字段名与.
mysql到ods层命名,数据引入层（ODS）
weixin_28972665的博客
03-23 336
CREATE TABLE IF NOT EXISTS s_auction(id STRING COMMENT '商品ID',title STRING COMMENT '商品名称',gmt_modified STRING COMMENT '商品最后修改日期',...
数仓命名规范.pdf
07-23
大数据分层规范及表，字段规范，及数据处理方式，给予有需要的同学大数据分层规范及表，字段规范，及数据处理方式，给予有需要的同学大数据分层规范及表，字段规范，及数据处理方式，给予有需要的同学
【数据仓库】【第十章】ODS层
weixin_43589563的博客
01-06 4854
1.创建数据库 现在数仓环境已经搭建好了； 数据也都已经采集到hdfs上了； 1）启动hive [atguigu@hadoop102 hive]$ bin/hive 2）显示数据库 hive (default)> show databases; 3）创建数据库 hive (default)> create database gmall; 4）使用数据库 hive (default)> use gmall; ODS层 1.用户行为数据 （1）建表分析 一行数据是什么：一条日志 有哪些字段：
数据仓库-数据命名标准规范
最新发布
An342647823的专栏
09-26 1416
各对象采用驼峰命名法，统一为小写字符，单词之间使用下划线隔开（ODS层除外，与源系统保持一致）。手动创建：tmp_{创建人名称}_{表名} （程序扫描删除，或者设置生命周期）宽表：dwd_{主题域}_{可选二级主题域}_detail_{数据标记}dim_{主题域}_{可选二级主题域}_{表名}_{数据标记}各业务板块的数据域，请参考模型设计，数据域明细。3df：3天更新一次数据，每次更新全量数据。数据源类型：obs，lts，db，es，dim_pub_{表名}_{数据标记}
数据治理之数仓命名规范大全.pdf
05-30
数据仓库通常分为多个层次，分别是数据运营层（ODS）、数据明细层（DWD）、数据中间层（DWM）和数据服务层（DWS），以及附加的维表层（Dimension）。 1. 数据运营层（ODS）：此层直接从数据源获取原始数据，不做...
数据仓库命名规范详解
jiang1182427208的博客
12-21 4758
小时(h)、天（d）、周(w)、月（m）、季（q）、年（y）。实时（rt）、小时（h）、天（d）、周（w）、月（m）、季（q）、年（y）、一次性任务（o）、无周期（n）实时（rt）、小时（h）、天（d）、周（w）、月（m）、季（q）、年（y）、一次性任务（o）、无周期（n）实时（rt）、小时（h）、天（d）、周（w）、月（m）、季（q）、年（y）、一次性任务（o）、无周期（n）实时（rt）、小时（h）、天（d）、周（w）、月（m）、季（q）、年（y）、一次性任务（o）、无周期（n）
数据仓库主题四--（表命名规范）
热门推荐
weixin_40809627的博客
08-07 1万+
待总结 todo
Hive数仓ods接入多数据源的命名规范
weixin_42497376的博客
10-16 201
数据库名称：通常将不同数据源的数据存储在不同的数据库中，可以根据数据源的名称或简称来命名数据库，例如ods_xxx、ods_yyy等。文件命名规范：文件名一般采用小写字母，使用下划线“_”分隔单词，例如ods_mysql_user_info_20200101.csv。（1）对于同一数据源的不同表，可以在表名前加上相应的前缀，例如ods_xxx_table1、ods_xxx_table2等。（2）对于不同数据源的同一张表，可以在表名后加上数据源的标识，例如table1_xxx、table1_yyy等。
数仓分层及命名规范
weixin_44341385的博客
04-14 3225
一、分层 1、ODS层 原始数据层，存放原始数据，直接加载原始日志、数据，数据保持原貌，不做任何处理。 2、DWD层 对ODS层进行清洗，比如处理里面的空值、脏数据、极限值 3、DWS层 对DWD层进行join 或者聚合、汇总操作 4、ADS层 为各种统计报表提供数据 二、分层优点 1、把复杂问题简单化 将一个复杂的任务分解成多个步骤来完成，每一层只处理单一的步骤，比较简单、并且方便定位问题。 2、减少重复开发 规范数据分层，通过的中间层数据，能够减少极大的重复计算，增加一次计算结果的复用性。 3、隔离原始
数据仓库学习（三）——命名规则
livan1234的博客
07-10 7628
笔者是一个痴迷于挖掘数据中的价值的学习人，希望在平日的工作学习中，挖掘数据的价值，找寻数据的秘密，笔者认为，数据的价值不仅仅只体现在企业中，个人也可以体会到数据的魅力，用技术力量探索行为密码，让大数据助跑每一个人，欢迎直筒们关注我的公众号，大家一起讨论数据中的那些有趣的事情。 我的公众号为：livandata 1. 概述 数据模型是数据管理的分析工具和交流的有力手段；同时，还能够很...
ODS层设计规范
someInNeed的博客
08-03 839
ODS层设计规范 更新时间：2021-06-08 14:37 我的收藏 本页目录 数据同步及处理规范 命名规范 数据存储及生命周期管理规范 数据质量规范 本文为您介绍ODS层设计规范。 数据同步及处理规范 数据同步方式的选择 基本规范通过需求形式落地到DataWorks的数据集成，规范落地情况依赖工具的推进节奏。一个系统的源表只允许同步一次到MaxCompute。 数据加载与处理 通过一键实时同步至MaxCompute方案实现，请参见配置查看数据同步任务。 命名规范 表命名
【数据仓库】——数据仓库命名规范
hongtaq156136的专栏
07-12 9365
一、概述　　数据模型是数据管理的分析工具和交流的有力手段；同时，还能够很好地保证数据的一致性，是实现商务智能（Business Intelligence）的重要基础。因此建立、管理一个企业级的数据模型，应该遵循标准的命名和设计规范。二、命名规范　　　　1.表属性规范　　　　　　表名　　　　　　　　ODS层表名　　　　　　　　　　　　前缀为ODS_应用系统名（缩写）_数据表名 。数据表名称必须以有特...
Greenplum数据仓库命名规范与实例分析
本资源主要介绍了Greenplum数据仓库的设计规范，特别是命名规范和流程图。 1. 数据仓库流程图 数据仓库的建设流程通常包括数据的入库、数据仓库的设计以及数据与应用层的交互。这个流程图清晰地展示了数据从原始...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值