dwd层知识点总结（2021-05-18更新）

最新推荐文章于 2024-07-29 20:18:49 发布

超级通勤者

最新推荐文章于 2024-07-29 20:18:49 发布

阅读量856

点赞数

分类专栏：离线数据仓库

本文链接：https://blog.csdn.net/qq_20519927/article/details/116992882

版权

本文总结了维度建模的四大步骤，包括选择业务过程和声明粒度，并举例说明。同时，介绍了get_json_object在区分启动日志和事件日志中的应用，以及自定义UDTF函数的大体实现流程。

摘要由CSDN通过智能技术生成

面试知识点1: 维度建模的4大步骤

1、选择业务过程
2、声明粒度
3、确定维度
4、确定事实

1.1 选择业务过程

原则:
（1）根据统计的需求指标来选择
（2）中小型公司: 全部业务过程
（3）中大型公司: 选择业务过程，不需要把所有表的数据导过来
例: 用户表 -> 购物车表、订单表（优惠券表）-> 订单详情表 -> 支付表（退单表）-> 评价表、收藏表

1.2 声明粒度

在 dwd 层不做聚合操作，选择最小粒度进行分析。

	表格	粒度	案例
1	订单表	1 次 / 1 周 / 1 月	统计北京地区所有商品卖了多少钱
2	订单详情表		统计今日手纸卖了多少钱
3	购物券	1 次
4	支付表	1 次
5	评价	1 次
6	收藏	1 次

面试知识点2: get_json_object

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

超级通勤者

关注关注

0
点赞
踩
1

收藏

觉得还不错? 一键收藏
0
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫

专栏目录

数仓(三)：分层设计 ODS-DWD-DWS-ADS

11-27

2万+

一、数仓建模的意义，为什么要对数据仓库分层？只有数据模型将数据有序的组织和存储起来之后，大数据才能得到高性能、低成本、高效率、高质量的使用。 1、清晰数据结构：每一个数据分层都有它的作用域，这样我们在使用表的时候能更方便地定位和理解。数据关系条理化：源系统间存在复杂的数据关系，比如客户信息同时存在于核心系统、信贷系统、理财系统、资金系统，取数时该如何决策呢？数据仓库会对相同主题的数据进行统一建模，把复杂的数据关系梳理成条理清晰的数据模型，使用时就可避免上述问题了。 2、数据血缘追...

剑指数据仓库-项目篇(三) - 数据建模的三种模型&&ods层到dwd层介绍

SparkOnYarn的博客

04-11

4815

一、上次课回顾二、数仓的各项理论知识 2.1、什么是数据仓库 2.2、数仓分层-星型模型 2.3、数仓分层-雪花模型 2.4、数仓分层-星座模型三、ERP项目架构 3.1、数仓分层流程图一、上次课回顾 https://blog.csdn.net/SparkOnYarn/article/details/105430370 主要讲了ERP的一些模块（基础信息维护、采购、销售、零售流程维...

参与评论您还未登录，请先登录后发表或查看评论

数据仓库之DWD层

jianghuaijie的博客

01-02

7854

DWD（Data WareHouse Detail）数据明细层，主要是将从业务数据库中同步过来的ODS层数据进行清洗和整合成相应的事实表。事实表作为数据仓库维度建模的核心，需要紧紧围绕着业务过程来设计。在拿到业务系统的表结构后，进行大概的梳理，再与业务方沟通整个业务过程的流转过程，对业务的整个生命周期进行分析，明确关键的业务步骤，在能满足业务需求的前提下，尽可能设计出更通用的模型。业务方有时只仅仅只是考虑了当下的情况。例如业务想要一个审核通过人员的明细数据，我们设计了一个全量的审核明细表，过了几天，业务

数仓搭建——DWD层

zhangzhagn_的博客

07-27

639

07-29

1480

DWD层,全称Data Warehouse Detail,是数据仓库分层架构中的细节层。它位于ODS(Operational Data Store)层之上,DWS(Data Warehouse Service)层之下,是连接原始数据和汇总数据的重要桥梁。

简单搞定数仓搭建:数仓模型(DWD)

github_36444580的博客

08-11

1965

明细粒度事实层（DWD）明细粒度事实层以业务过程驱动建模，基于每个具体的业务过程特点，构建最细粒度的明细层事实表。您可以结合企业的数据使用特点，将明细事实表的某些重要维度属性字段做适当冗余，即宽表化处理。公共汇总粒度事实层（DWS）和明细粒度事实层（DWD）的事实表作为数据仓库维度建模的核心，需紧绕业务过程来设计。通过获取描述业务过程的度量来描述业务过程，包括引用的维度和与业务过程有关的度量。度量通常为数值型数据，作为事实逻辑表的依据。事实逻辑表的描述信息是事实属性，事实属性中的外键字段通过对应维度

数仓搭建DWD层

noob9527的博客

04-16

3115

尚硅谷电商数仓DWD层

数据分层之DWD

鸭梨的博客

12-24

3368

1 DWD是什么？明细粒度事实层以业务过程作为建模驱动，基于每个具体的业务过程特点，构建最细粒度的明细层事实表。可以结合企业的数据使用特点，将明细事实表的某些重要维度属性字段做适当冗余，即宽表化处理. 明细粒度事实层（DWD）通常分为三种：事务事实表周期快照事实表累积快照事实表。 2 DWD中的信息有什么？事实表中一条记录所表达的业务细节程度被称为粒度。通常粒度可以通过两种方式来表述：一种是维度属性组合所表示的细节程度，一种是所表示的具体业务含义。作为度量业务过程的事实，通常为整型或浮点型的十

【博学谷学习记录】超强总结，用心分享 | DWD层构建

Onzswhite的博客

11-24

236

DWD层及拉链表构建

大数据-案例-离线数仓-在线教育：MySQL(业务数据)-ETL(Sqoop)-＞Hive数仓【ODS层-数据清洗-＞DW层(DWD-统计分析-＞DWS)】-导出(Sqoop)-＞MySQL-＞可视化

u013250861的博客

07-13

1950

一、访问咨询主题看板 1. 需求分析目的: 分析每一个调研需求需要计算什么指标, 以及计算这个指标需要通过那些维度,而且还包括计算这个需求涉及到那些表和那些字段需求1: 统计指定时间段内，访问客户的总数量。能够下钻到小时数据指标: 访问量维度: 时间维度: 年季度月天小时涉及到哪些表: web_chat_ems_2019_12 涉及到哪些字段: 时间维度: create_time 说明: 发现create_time字段中包含有年月天小时

数据仓库知识点总结（数仓分层建模、维度建模等）

leaeason的博客

10-13

1545

（37）DWD 层（业务数据）

song_quan_的博客

07-13

335

业务数据方面 DWD 层的搭建主要注意点在于维度建模，减少后续大量 Join 操作。 1.商品维度表（全量）商品维度表主要是将商品表 SKU 表、商品一级分类、商品二级分类、商品三级分类、商品品牌表和商品 SPU 表联接为商品表。 1）建表语句 hive (gmall)> DROP TABLE IF EXISTS `dwd_dim_sku_info`; CREATE EXTERNAL TABLE `dwd_dim_sku_info` ( `id` str.

大数据-数仓分层之DWD

itman_cx的博客

02-24

2623

一、DWD层描述

电商数仓(dwd 层)

a1786742005的博客

05-01

8109

一、dwd 层介绍 1、对用户行为数据解析。 2、对核心数据进行判空过滤。 3、对业务数据采用维度模型重新建模，即维度退化。二、dwd 层用户行为数据 2.1 用户行为启动表 dwd_start_log 1、数据来源 ods_start_log -> dwd_start_log 2、表的创建 drop table if exists dwd_start_log; CREATE EXTER...

Pandas第三次作业20200907

Narutolxy的博客

09-07

1734

练习1 • 读取北向.csv 指定第一列为行索引 • 查看数据的基本信息有无缺失值对其缺失值进行处理 • 删除缺失值所在行 • 查看数据的基本信息查看数据是否清洗完毕 • index列没啥用将index列删除 • 观察数据是否有重复行 • 将重复行进行删除 • 将行索引进行升序 • 将处理好的数据保存至北向(副).csv #！/user/bin/env python #-*-coding: utf-8-*- #@Time : 2020/9/719:53 #@Author

关于数仓的DWD层的讲解和拉链表讲解以及进行JOIN优化

weixin_50479099的博客

06-07

3771

在数仓的构建DWD层的时候有些数据需要去转化成拉链表来经行处理所以在今天我会着重讲解拉链表的使用以及在DWB JOIN表的时候进行的优化防止数据倾斜

5.完成DWD层数据采集工作

Clittle225的博客

06-08

1280

5.完成DWD层数据采集工作

离线数仓（八）【DWD 层开发】

功不唐捐，玉汝于成

03-27

1619

DWD层开发

log文件--》Flume--》HDFS--》Hive(ODS)-->DWD-->DWS-->ADS-->上层应用

06-19

Log文件通常在日志系统中生成，记录应用程序运行过程中的各种信息和事件。Flume是一个分布式、可靠的数据收集系统，用于收集这些日志文件，并将它们传输到其他数据存储系统。当Flume接收到日志后，它会将这些数据发送到Hadoop Distributed File System (HDFS)，HDFS是一个高度可扩展的分布式文件系统，为大数据处理提供存储能力。接下来，数据会进入Hive（联机数据仓库，ODS），Hive是一个数据仓库工具，用于对结构化的大量数据进行查询和分析，但它本身并不创建事实表（DWD），而是基于原始数据执行ETL（提取、转换、加载）操作。 DWD（Data Warehouse Dimension）和DWS（Data Warehouse Star Schema）是数据仓库设计中的两个概念。DWD是一组低维事实表，每个维度表对应一个事实表的一个属性；DWS则使用星型模式，包含中心的事实表以及围绕它的维度表，用于提高查询性能。最后，数据经过处理后会被加载到ADS（分析数据服务），这是一个用于实时或近实时数据分析的平台，如实时流处理或交互式查询。上层应用可以是商业智能系统、仪表板、报告工具或其他业务系统，它们通过访问这些数据仓库来获取关键的业务洞察和决策支持。