数仓各层作用

最新推荐文章于 2024-07-25 09:48:00 发布
最新推荐文章于 2024-07-25 09:48:00 发布
阅读量216 收藏
点赞数 2
分类专栏： # 5离线数仓-S级 文章标签： 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_45972323/article/details/140117263
版权

ods层

ods同步原始数据，保证数据的完整性

dwd层

dwd在事实表上划分数据，保证按照业务划分数据，后续的分析好按照这个业务流程链进行

dwm层

dwm在每个业务线的基础上进行维度退化，保证数据是最细粒度的，方便后面按需求聚合避免维度冗余

dws层

dws根据需求将细粒度的数据，按照业务过程＋度量值＋聚合逻辑，分析数据存储复用指标

app层

app根据看板算法的需求，将各个指标整合成大小宽表。

74efa5w1f2315qw41f
关注
  • 2
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
数仓分层
weixin_42913329的博客
10-23 1763
数仓分层 一.分层的作用 二、ODS (opreational data store) 三、DWD(data warehouse detail)** 1.概览 2.步骤 4.具体需要做的事情 5.举例 四、DIM 1.概念 2.举例 五、DWS(data warehouse service) 1.概念 2.举例 六、DM(data market) 1.概念 2.举例 七、APP/ADS 1.概念 2.举例 一.分层的作用 数仓分层的目的是：逐层解耦，减少重复计算，降低烟囱式开发。 越到底层，越接近业务发生的
数仓建设 ｜ ODS、DWD、DWM等理论实战
04-02
1. **清晰的数据结构**：每一层都有明确的作用和职责，便于理解和维护。 2. **复杂问题简化**：将复杂任务分解为多个简单的步骤，每个步骤解决特定问题。 3. **统一数据口径**：确保所有下游应用使用一致的数据标准...
数仓每层表的作用
超的专栏
04-23 314
数仓分层
数仓分层各层详解
weixin_67527764的博客
08-22 614
原始数据层的目的是保留数据的完整性和可追溯性，以备后续的数据处理和分析。报告和可视化层（Reporting and Visualization Layer）：报告和可视化层用于生成各种报告、仪表盘和可视化图表，以便用户能够直观地理解和分析数据。集成层（Integration Layer）：集成层是将来自不同数据源的数据进行整合和集成的层级。每个层级都有其独特的功能和价值，通过将数据仓库按照不同的层级进行组织和管理，可以更好地支持不同层次和角色的用户需求，提供高效、准确和可靠的数据分析和决策支持。
数仓基本架构--分层 各层功能
m0_61059815的博客
07-16 3628
数据仓库架构图在分层和命名大同小异。
数仓分层哪四层？作用都是什么？
weixin_44798823的博客
06-11 5882
ods层： 数据来源及建模方式：各业务系统的源数据，物理模型与业务模型一致； 服务领域： 为其它逻辑层提供数据； 数据ETL过程描述：把业务数据抽取落地成文本文件，再装载到数据仓库ods层，不做清洗转化。 功能： 1）ods是数仓准备区 2）为dwd提供原始数据 3）减少对业务系统影响 建模方式及原则： 数据保留时间根据实现业务需求而定； 可以分表进行周期性存储，存储周期不长； 从业务系统以增量方式抽取加载到ods； 数据模型与粒度与业务系统一致（3NF）。 dwd层： 数据来源及建模方式：数据来自于ods
数仓开发之DIM层
JiaXingNashishua的博客
11-09 4241
（1）定义类。
数仓各个分层的作用以及为啥要分层（浅显易懂）
热门推荐
qq_42540149的博客
12-27 1万+
数仓的分层： 宽泛的概念一共分三层：ODS DW APP(DA) ODS层：源数据层 作用：主要是对接数据源，将数据源的数据在ODS层构建表，讲数据源中完整的数据拷贝过来，一般来说，业务数据源中有几个表数据，在ODS层就会有几个表与之对应。 DW层：数据仓库层 作用：数据都来源于ODS层，将ODS层数据根据业务主体要求，将数据抽取到DW层，主要进行数据的统计分析工作。 DW又分三层： DWD 明细层（Data Warehouse Detail）：作用将ODS层数据根据业务主体要求，将OSD数据抽取到DW
数仓搭建ODS层
noob9527的博客
04-12 3062
尚硅谷电商数仓ODS层
数仓搭建-ODS层
weixin_44616592的博客
11-27 1083
（1）在/home/atguigu/bin目录下创建脚本hdfs_to_ods_db_init.sh。注意：[ -n 变量值 ]不会解析数据，使用[ -n 变量值 ]时，需要对变量加上双引号(" ")在企业开发中，除了自己用的临时表，创建内部表外，绝大多数场景都是创建外部表。（1）在/home/atguigu/bin目录下创建脚本hdfs_to_ods_db.sh。首日脚本与每日脚本最大的区别就是地区省份表只需要首日加载，每日脚本无需加载。3）创建分区表，防止后续的全表扫描，在企业开发中大量使用分区表。
数仓建设规范指南.pdf
11-10
数仓各层开发规范是数据仓库开发和实施的重要参考指南，包括ODS层设计规范、公共维度层设计规范、DWD明细层设计规范、DWS公共汇总层设计规范等四个方面。 1. ODS 层设计规范：该规范规定了ODS层的设计原则和方法，...
基于OneData的数仓建设.pdf
11-19
该指导思想强调了数据仓库的重要性，以及它在支持业务决策和数据分析方面的作用。 数据调研 数据调研是基于OneData的数仓建设的重要步骤。该步骤包括业务调研和需求调研两个方面。 业务调研 业务调研的目的是...
关于数仓建设及数据治理的概括解析.docx
03-10
数仓的架构通常包括三个层次：数据源层、数据仓库层和数据 mart 层。 数据源层是指原始数据的来源，包括业务系统、数据库和其他数据源。 数据仓库层是指对数据进行处理和转换的过程，包括数据的清洁、转换和加载。...
数仓建模方法和数仓分层架构详解.pdf
09-28
Inmon架构提倡企业数据协调与集成，认为要利用规范化的EDW承担这个责任，而Kimball架构强调具有 一致性维度的企业总线的重要作用。在Inmon架构中，数据仓库通常以部门为中心（而不是围绕业务过程来组织），而且包含...
分布式系统常见软件架构模式
最新发布
Ben的专栏
07-25 942
简而言之，有效管理数据和通信流对于构建健壮且可扩展的分布式系统至关重要。对等、API 网关、发布-订阅、请求-响应、事件溯源、ETL、批处理、流处理和编排等架构模式提供了有价值的解决方案，以应对系统设计和实现中的各种挑战。通过理解这些软件架构和分布式系统模式及其各自的优势和权衡，架构师和开发人员可以做出明智的决策，设计出满足其应用程序和用户不断变化的需求的系统。
SpringBoot整合Elastic-Job 2.1.53版本任务调度，手动任务，动态添加任务演示
小哇
07-23 355
zookeeper安装并成功运行。
数据分析师学习路线与就业环境分析报告
关注收藏，可以私信解决问题！
07-23 949
数据分析师负责收集、处理和分析数据，以帮助企业做出基于数据的决策。他们使用统计方法、数据建模和数据可视化技术来解释复杂的数据集。
江苏科技大学24计算机考研数据速览，有专硕复试线大幅下降67分！
m0_72717598的博客
07-23 462
江苏科技大学（Jiangsu University of Science and Technology），坐落在江苏省镇江市，是江苏省重点建设高校，江苏省人民政府与中国船舶集团有限公司共建高校，国家国防科技工业局与江苏省人民政府共建高校 ，教育部卓越工程师教育培养计划高校，教育部本科教学工作水平评估优秀学校，江苏省高水平大学建设高峰计划B类建设高校，中国船舶与海洋工程产业知识产权联盟、江苏船舶与海洋类高校协同发展联盟牵头单位。其中，研究生新生学业奖学金特等奖3万，一等奖1.2万，二等奖0.8万；
数仓建设与数据治理：分层策略解析
数据治理在数仓建设中的作用： 1. 数据质量：通过数据清洗、校验等手段确保数据的准确性、完整性和一致性。 2. 元数据管理：记录数据的属性、来源、处理过程等信息，支持数据血缘和影响分析。 3. 数据安全管理：...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值