关于命名规范、维度明细层及集市汇总层设计的思考

最新推荐文章于 2024-08-12 15:00:42 发布
最新推荐文章于 2024-08-12 15:00:42 发布
阅读量6.5k 收藏 6
点赞数 1
分类专栏： Database/Model Design 文章标签： 数据仓库 标签 维度建模 命名规范
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/nisjlvhudy/article/details/47380245
版权
本文探讨了数据仓库建设中的命名规范，强调了规范化的字段和表命名的重要性。接着介绍了维度模型的明细层设计，作为数据整合层与DM层之间的过渡，用于过滤和缓冲数据。此外，文章还讨论了集市高度汇总层的设计，针对具体报表进行汇总，并考虑了性能优化。最后，作者提出了在维度明细层和高度汇总层之间增加中度汇总层的可能性，以提高性能。
摘要由CSDN通过智能技术生成

在SN做仓库项目，根据自己负责的内容及SN的一些规范等，将这一阶段的模型工作进行一个思考和总结。

一、仓库字段、表等命名的规范

数据仓库建设目的，其中重要的一个方面就是建立统一的全局视图；表、字段等的规范命名就是仓库全局视图一个方面的体现。

在进行规范命名的时候，一般会根据《数据建模字段简写命名规范.xlsx》来进行。《规范》中有的词组，对应的表及字段按照《规范》进行命名；有的字段词组在《规范》中没有，则需要在《规范》中新加、完善和补充。新增加的《规范》简写，只是对应于某些字段内的单个词组上，而非针对整个字段。对于一些常用的命名，如金额-AMT、数据-NUM、非/不-UN、代码-CD、标识

最低0.47元/天 解锁文章
nisjlvhudy
关注
专栏目录
2021.4.26数据仓库之数据仓库分层设计与命名规范
超可爱慕之
04-26 2846
复习： 上节课从维度建模开始说的，维度建模是源自于数据集市，数据集市的概念是由拉尔夫金博尔提出来的，维度建模主要应用的领域是OLAP的领域，就是数据分析的场景，维度建模里面只有事实表和维度表，事实表就是现实世界中的操作型事件就放在事实表里面，事实表是由维度和度量来组成的，维度就是看数据的角度，他和主题的区别就主题是一个更大的角度，维度就是主题底下的某一些小的角度去观察度量，事实表中的每一个维度，都是会有一个维度表与它一一对应，就像主外键关联，可以在事实表里关联到更多的维度属性来对度量进行统计，那维度表更像是
维度建模基础之规范定义
zly03的博客
05-16 336
文章目录前言规范定义的定义数据域业务过程时间周期原子指标维度派生指标总结总结 前言 最近在做一些关于数据仓库的一些工作，我还是个初学者，一些基础概念还分不清楚，这些概念理解不清楚，后面学习维度建模方面的知识就会很吃力。所以就打算写这篇文章来记录下自己的学习，下面就开始了哈，一些定义参考了阿里巴巴大数据实践之路。 规范定义的定义 规范定义是指以维度建模作为理论基础，构建总线矩阵，划分和定义数据域、业务过程、维度、度量/原子指标、修饰类型、修饰词、时间周期、派生指标。具体的图可以参考下面的图，图来自阿里的书。
数据仓库之命名规范
youziguo的专栏
07-09 582
数据仓库命名规范旨在确保数据仓库中的各种对象（如数据库、表、列、索引、视图等）具有一致、清晰且有意义的名称。这些规范有助于提高数据的可读性、可维护性和可理解性。以下是一些常见的数据仓库命名规范，涵盖了数据库对象的各个方面。
二、数据仓库笔记之数仓分层
qq_40407889的博客
08-21 3918
2、数据仓库分层 2-1、分层的简单介绍 一般大数据数据仓库的分层结构如图所示： 其中，ODS层是近源层，一般是同步业务端数据，数据不进行更改（但是可以扩充字段，比如更新时间、来源等）；CDM层是用来进行数据清洗、数据分析以及建模；ADS层存储的是清洗好的数据，对外提供数据服务，狭义上也称为数据集市层。 CDM层又分为数据明细层DWD和数据汇总层DWS层： DWD层存储的是各种经过维度退化进行简单汇总的零散明细表，也就是各个模块的明细表，满足三范式。 DWS层存储的是各个明细表join一起得到的大宽表（
内部矩阵维度必须一致simulink_浅谈数仓模型（维度建模）
weixin_39861882的博客
10-21 665
背景数据仓库的核心是展现层和提供优质的服务。ETL 及其规范、分层等所做的一切都是为了一个更清晰易用的展现层。数仓架构的原则：1、底层业务的数据驱动为导向同时结合业务需求驱动2、便于数据分析 屏蔽底层复杂业务 简单、完整、集成的将数据暴露给分析层3、底层业务变动与上层需求变动对模型冲击最小化 业务系统变化影响削弱在基础数据层（资金订单改造） 结合自上而下的建设方法削弱需求变动对模型的影响 数据水平...
数据建模-名词解释篇
铁打的键盘也能敲出优雅的生活
12-27 2017
本文通过阿里的大数据开发治理平台 DataWorks，结合其中的数据建模理论向大家简单介绍一下指标体系构建过程的名词概述及命名规范。
数据仓库维度建模实践-模型设计-网易03.pdf
10-30
* DWD：存放面向业务过程的明细事实数据，做一些数据清洗和规范化等。 * DWS：面向分析主题建模，这里要说明的是，云音乐DWS层的基架是轻度汇总事实表，这里做了一些常用的退化维，基本要求是：大部分指标都可以从...
Hive_数仓分层理论及命名规范
qq_56870570的博客
08-19 2722
1. 数仓分层框架 ODS层：原始数据层，存放原始数据，直接加载原始日志、数据，数据保持原貌不做处理。 DWD层：对ODS层数据进行清洗（去除空值，脏数据，超过极限范围的数据）、脱敏等。保存业务事实明细，一行信息代表一次业务行为，例如一次下单。 DIM层：维度层，保存维度数据，主要是对业务事实的描述信息，例如何人，何时，何地等。 DWS层：以DWD为基础，按天进行轻度汇总。一行信息代表一个主题对象一天的汇总行为，例如一个用户一天下单次数（按天）。 DWT层：以DWS为基础，对数据进行累积汇总.
数仓表命名规范
最新发布
absolete的博客
08-12 743
格式举例：ods_mysql_bu_user_order_di，表示数据仓库中的ods层表，来源为mysql数据库，属于数据域bu，包含用户和订单信息，按天进行分区。- 层级：数据仓库中表的层级，包括：ods、dwd、dwc、dwb、dws、ads、dm、app、dim、tmp。格式举例：dws_hr_ba_labor_cost_budget_sum_mf (业务区人工成本预算表)格式举例：dwd_hr_talent_plan_dtl_di (人才规划明细表)ps: 无分区全量后缀使用"af"
端到端大数据平台数据仓库建设规范
penriver的博客
07-16 1754
1 数据分层规范 数据仓库的目的是构建面向分析的集成化数据环境，为企业提供决策支持（Decision Support），特点如下： 连接全域数据 实现数字化闭环 体现业务特征 自动化建模 高效数据运维 助力业务智能 通过数据仓库，实现统一数据模型、统一采集、统一技术架构。 1.1 接口层 接口层面向外围数据源，负责数据源的管理及统一采集工作，管理外部数据的来源、数据结构、接口方式、格式要求、质量要求等信息。 数据模型与源系统基本保持一致。接口层数据按实时或准实时、按天、按月更新。 1.1.1 设计目标
数据仓库4.0
MRzhenglea的博客
09-13 1297
仅用于自己学习 数据流程设计 搭建 版本选择 Apache :运维麻烦，组件间兼容性需要自己调研 CDH： 国内使用最多的版本，6.32之前免费，从2021年开始收费。 1个节点1万美元 云服务选择 阿里云的EMR(不用搭建平台和考虑兼容性问题)，MaxCompute, DataWorks 亚马逊云的EMR 腾讯云EMR 华为云EMR（市场份额少） 物理机和云主机选择 集群规模 计算例子 用户100万，每个用户平均100条数据，每条日志1k左右， 每天100w1001000/1024/1024约等于10
数仓建模系列-数据体系搭建篇
NetEaseResearch的博客
08-28 2519
本系列将持续更新数仓建模相关知识，将学习到的理论知识和工作实践结合起来，总结沉淀下来，积跬步成千里。 作者：吴珍 基本概念 数据仓库概念由世界公认的数据仓库之父比尔·恩门（Bill Inmon）在1991年出版的“Building the Data Warehouse”（《建立数据仓库》）中提出： A data warehouse is a subject-oriented, integrated, nonvolatile, and time-variant collection of dat.
数据仓库相关概念
weixin_49790852的博客
03-19 1373
数据中心整体架构。 数据仓库的整理架构，各个系统的元数据通过ETL同步到操作性数据仓库ODS中，对ODS数据进行面向主题域建模形成DW（数据仓库），DM是针对某一个业务领域建立模型，具体用户（决策层）查看DM生成的报表。 数据仓库的ODS（Operational Data Store）、DW（Data Warehouse）和DM（Data Mart）概念 ODS、DW、DM协作层次图 DW可细分为DWDetail，DWMiddle，DWServer；其他层可有D..
详解数据仓库和数据集市：ODS、DW、DWD、DWM、DWS、ADS
a934079371的博客
11-28 3096
点击上方 "大数据肌肉猿"关注,星标一起成长点击下方链接，进入高质量学习交流群今日更新| 1052个转型案例分享-大数据交流群一、数据流向二、应用示例三、何为数仓DWData warehouse（可简写为DW或者DWH）数据仓库，是在数据库已经大量存在的情况下，它是一整套包括了etl、调度、建模在内的完整的理论体系。数据仓库的方案建设的目的，是为前端查询和分析作为基础，主要应用于OLAP（on-...
【数据仓库】——数据仓库命名规范
hongtaq156136的专栏
07-12 9354
一、概述　　数据模型是数据管理的分析工具和交流的有力手段；同时，还能够很好地保证数据的一致性，是实现商务智能（Business Intelligence）的重要基础。因此建立、管理一个企业级的数据模型，应该遵循标准的命名和设计规范。二、命名规范　　　　1.表属性规范　　　　　　表名　　　　　　　　ODS层表名　　　　　　　　　　　　前缀为ODS_应用系统名（缩写）_数据表名 。数据表名称必须以有特...
数据仓库各个层
热门推荐
vic868的专栏
01-02 1万+
> ODS层 主要负责采集业务系统并保存一定期限内的相关业务数据。当然也可以满足用户对明细数据的查询要求，姑且也可以算作明细数据仓库。 > 数据仓库层 将ODS层经过质量检查、清洗、转换后，形成符合质量要求的公共数据中心。实际上与ODS层差别不大，都是建立以ER为中心的数据关系，方便以后的数据的聚合。 > 明细数据集市层即前面所说的事实层 按主题及KPI指标对数据仓库层数据进行进一步转换
【漫谈数据仓库】 如何优雅地设计数据分层
weixin_34122548的博客
11-01 781
一、文章主题 本文主要讲解数据仓库的一个重要环节：如何设计数据分层!其它关于数据仓库的内容可参考之前的文章。 本文对数据分层的讨论适合下面一些场景，超过该范围场景 or 数据仓库经验丰富的大神就不必浪费时间看了。 数据建设刚起步，大部分的数据经过粗暴的数据接入后就直接对接业务。 数据建设发展到一定阶段，发现数据的使用杂乱无章，各种业务都是从原始数据直...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值