缓慢变化维度的体会

最新推荐文章于 2024-05-11 19:39:10 发布
最新推荐文章于 2024-05-11 19:39:10 发布
阅读量896 收藏
点赞数
分类专栏： SSIS
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/CarryLiu/article/details/5992249
版权

      今天在抽取维度表数据时用到了缓慢变化维度，发现的确很有用。可是我发现数据量一旦大，而且需要的列较多时，速度就会特别慢，因为他每一行都要一列一列地去匹配，因此速度自然而然就慢了。其实速度到还好，主要他能解决员工换部门这种情况，能记录历史数据，的确是很好的一个技术，特在此宣传下。

CarryLiu
关注
专栏目录
【光剑书架上的书】书评推荐《爱因斯坦的梦》[美] 阿兰·莱特曼
AI天才研究院
09-02 388
爱因斯坦的梦》以其独特的科幻构思和深邃的哲学思考，为我们展示了一个充满奇妙和未知的世界。这部作品不仅是一部科幻小说，更是一部关于时间、生命和人类的哲学作品。通过爱因斯坦的梦境，作者阿兰·莱特曼巧妙地揭示了时间的无限可能性，探讨了生命的无常和脆弱，以及人类在面对时间和命运时的复杂情感和深刻思考。这部作品的成功在于它将科学与文学巧妙地结合在一起，创造出一种独特的叙事风格。阿兰·莱特曼的笔触细腻，语言富有诗意，使读者在享受阅读乐趣的同时，也能深刻地思考科学和哲学问题。
大数据-数据仓库(Data Warehouse)：概述【面向主题的、集成的、相对稳定的、反映历史变化的数据集合；是一个数据处理过程（清洗、转义、分类、重组、合并、拆分、统计等）】
u013250861的博客
01-15 8167
大数据-数据仓库(Data Warehouse)：面向主题的、集成的、相对稳定的、反映历史变化的数据集合；是一个数据处理过程（清洗、转义、分类、重组、合并、拆分、统计等）
千亿级数仓>缓慢变化维
qq_44509920的博客
05-10 1030
文章目录4 缓慢变化维4.1 什么是缓慢变化维（SCD)4.2 SCD问题的几种解决方案数仓项目-拉链表技术介绍商品历史快照案例方案一：快照每一天的数据到数仓方案一：MySQL到Hive数仓代码实现方案二：使用拉链表保存历史快照方案二：拉链表存储历史快照代码实现查询拉链表 4 缓慢变化维 4.1 什么是缓慢变化维（SCD) 1、缓慢变化维简介 缓慢变化维，简称SCD（Slowly Changing Dimensions） 一些维度表的数据不是静态的，而是会随着时间而缓慢地变化（这里的缓慢是相对事实表而言，
3 关于数据仓库维度数据处理的方法探究系列——缓慢变化维概述和原理
weixin_34204057的博客
10-15 112
缓慢变化维 Slowly Changing Dimensions（ A typical slowly changing dimension is a product dimension in which the detailed description of a given product is casionally adjusted. ）： 数据仓库数据加载规则，数据仓库中用于实现历史数据与当前...
缓慢变化维
https://blog.csdn.net/sinat_36710456
02-12 914
     数据仓库 DataWarehouse(DW) 中的事实表总是在变化中，通常是新的业务数据不断装载入DW。事实表数据的增加是正常现象，也无需特别处理。但很多时候维度表的数据也会发生变化，且维度表的数据变化会导致维度表和事实表的关系发生变化。 因此对于维度变化，该如何设计维度表，是本文要讨论的问题。      例如一个订单事实表和一个客户维度表，每个订单有一个对应的客户。在今年5月17日...
数据仓库知识点总结（数仓分层建模、维度建模等）
leaeason的博客
10-13 1608
数据仓库知识点总结 推荐学习《华为数据之道》《数据仓库工具箱-维度建模权威指南》两本书。 此文档是数据仓库建模的知识点总结文档，在持续更新中（2021-10-13）。 文章目录数据仓库知识点总结1.数据仓库分层理论1.1数仓分层架构的好处1.2 数据仓库核心分层2.数据仓库建模方法论2.1 ER模型2.2 维度模型2.3 Data Vault模型2.4 Anchor 模型3.维度建模方法论3.1模型层次（数仓的分层理论）3.2 模型实施过程3.2 维度设计3.3 事实表设计4 数仓模型4.1 数仓模型需要
粒子群算法的寻优算法——非线性函数极值寻优 实验体会
qq_43241436的博客
12-03 1797
通过老师对算法代码的简单介绍，我对于粒子寻优算法结构有了一个大致的了解 首先根据老师说的原则，c1从小变到大，c2从大变到小，权重w先从大的开始，惯性大的冲得快，后期再往小改。 初始值： 首先更改了c2的值： 在第二次迭代时发现了变异种子的作用： 解决过早收敛，跳出局部最优，得以再次迭代得出最优解，不过显然，未能完全达到预期理想结果。 在c2保持住1.59445的情况下，c1降为1.1944...
OpenCV尝试心得
h1012946585的博客
01-22 2015
opencv使用心得 前言 opencv是一款计算机视觉库，初次接触计算机视觉感觉计算机视觉有点东西 -.-，很多的图像处理之间的关系需要我们对图像的知识。 图像 以前没接触过图像，自己认为的图像就是屏幕上RGB的像素点，每个像素点，是图像的一开始的状态，但是通过这次培训明白了图像是RGB三层像素之间的叠加，取样频率和量化之间的概念，在我理解看来也就是RGB的不同颜色之间像素深度的一个叠加，其实屏...
【漫谈数据仓库4】缓慢变化维度（SCD）
格物致知
10-29 936
本文会分享数据仓库中和缓慢变化维度相关的内容。在看之前建议回顾一下和维度建模相关的知识点 为什么会分享这个听起来很奇怪的东西？因为站在的笔者的视角中，只要是做数据仓库的小伙伴们，在工作中基本上都会接触和维度建模相关的内容，而谈到维度建模，就少不了会和维度表打交道。我们要谈的就是维度表相关的知识点。 在正式开始之前，先解释一下什么是缓慢变化维度。笔者个人理解，缓慢变化维度其实就是指在维度表中那些会随着时间变化的字段，比如用户基本资料。 注：缓慢是一个相对的概念。与缓慢变化的纬度相比，数据增长快速是事实表
维度建模中的缓慢变化维
自律
07-12 364
通常使用方法为：跑批时间>=start_dt and 跑批时间
浅谈缓慢变化维度设计
u012100548的博客
02-26 558
前言 维度会随着时间而变化，好的数据模型应具有追踪维度变化的能力。Kinball在维度建模工具箱一书中提出7种缓慢变化维度（Slowly changing Dimension, SCD)处理技术，本文将逐一详解，并辅以代码实现案例。其中类型1-4为基本设计方法，类型5-7为类型1-4相互组合形成，也成为混合设计方法。 缓慢变化维度设计与实现 维度属性不变的情况，在Kinball理论中成为类型0情况，如一个人的出生日期，这类属性一旦有值，将不在变化，可以视为常量。 为辅助讲解，本文设定一个案例场景：为
缓慢变化维度处理技术
qq_33044969的博客
11-19 888
一、概念 缓慢变化维度（SCD）：这是一个针对于维度表定义的名词，指的是一些随着时间会发生变化的一些属性。 二、变化跟踪策略 不同的变化跟踪策略适用于不同的维度分析场景，以下类型没有好，更好，最好的区分。需要数据管理员结合当前业务过程和维度属性特征做选择。在这里，每种策略会分配一个SCD类型号，类型号是针对于维度属性而言，不是针对一张表，所以一张表内不同属性可以使用不同的SCD类型来跟踪变化。 类型0：保持原始值 该类型表示维度表的属性绝对不会变化，如客户的原始积分，或者日期维度表的大部分属性
通俗易懂讲数据仓库之【缓慢变化维】
热门推荐
大数据梦想家
05-10 1万+
        本篇博客，博主为大家带来的是关于数据仓库中一个非常重要的知识点缓慢变化维的讲解!         码字不易，先赞后看 文章目录缓慢变化维1. 什么是缓慢变化维(SCD)1.1 缓慢变化维简介1.2 举例说明2. SCD问题的几种解决方案SCD解决方案 - 保留原始值SCD解决方案 - 改写属性值SCD解决方案 - 增加维度新行SCD
“缓慢变化维“初认知
dq_dsj的博客
02-27 195
"缓慢变化维" : 在DIM层中,一些维度表的数据并不是固定不变的,而是会随着时间,随着批量的进行发生缓慢的变化的,这种缓慢变化的维度称作"缓慢变化维"(SCD). 举例: 以下为简化的用户信息维表 用户可以操作账户,修改自己的uname,使得维表的uname数据发生变化,对此有以下几种解决方案; 1.修改原始属性值->即修改维表里uname的值为最新值.这种情况会造成历史数据的丢失,重跑数据的情况下关联不上历史数据,生成错误的数据,并不推荐使用. 2.保留原始属性值->即保留
缓慢变化维度（SCD）
qq_41081716的博客
02-19 1901
SCD简介 顾名思义，缓慢变化维度（slowly changing dimension, SCD）就是数据仓库维度表中，那些随时间变化比较不明显，但仍然会发生变化的维度。考虑以下两个情境： 在员工维度表中，某员工原来在北京分公司工作，后来调往上海分公司，那么“工作地点”就是一个缓慢变化维度； 在采购维度表中，办公电脑原来从戴尔供应商处进货，后来换成了联想，那么“供应商”就是一个缓慢变化维度。 处理缓慢变化维度是Kimball数仓体系中永恒的话题，因为数据仓库的本质，以及维度表在维度建模中的基础作用，我
缓慢渐变维与拉链表
最新发布
DrKYQ的博客
05-11 2355
Slowly Changing Dimensions简称SCD缓慢变化维的提出是因为在现实世界中，维度的属性并不是静态的，它会随着时间的流逝发生缓慢的变化。这种随时间发生变化的维度我们一般称之为缓慢变化维比如学历，住址学历维度本科，硕士，博士select 学历，count(*) from tb_user group by 学历区域维度在数仓中如何处理变化的维度数据?对于发生变化的数据在数仓中有三种方式处理方式1直接覆盖原有数据方式2增加一行新数据方式2增加一列新数据。
缓慢变化维度示例程序
05-30
以下是一个简单的示例程序，用于演示如何使用缓慢变化维度（Slowly Changing Dimensions，SCD）来处理维度数据的变化： ``` -- 创建员工表 CREATE TABLE employee ( employee_id INT PRIMARY KEY, name VARCHAR(50), department_id INT, start_date DATE, end_date DATE, is_current_employee BIT ); -- 创建部门表 CREATE TABLE department ( department_id INT PRIMARY KEY, name VARCHAR(50) ); -- 创建 SCD2 类型的维度表 CREATE TABLE employee_dimension ( employee_id INT PRIMARY KEY, name VARCHAR(50), department_id INT, start_date DATE, end_date DATE, is_current_employee BIT, effective_start_date DATE, effective_end_date DATE, version_number INT ); -- 插入初始的员工维度记录 INSERT INTO employee_dimension SELECT employee_id, name, department_id, start_date, end_date, is_current_employee, GETDATE(), '9999-12-31', 1 FROM employee; -- 创建存储过程来处理员工维度表的变化 CREATE PROCEDURE process_employee_changes @employee_id INT, @name VARCHAR(50), @department_id INT, @start_date DATE, @end_date DATE, @is_current_employee BIT AS BEGIN -- 禁用旧版本的记录 UPDATE employee_dimension SET effective_end_date = @start_date - 1, is_current_employee = 0 WHERE employee_id = @employee_id AND is_current_employee = 1; -- 插入新版本的记录 INSERT INTO employee_dimension SELECT @employee_id, @name, @department_id, @start_date, @end_date, @is_current_employee, GETDATE(), '9999-12-31', (SELECT MAX(version_number) + 1 FROM employee_dimension WHERE employee_id = @employee_id) END; -- 调用存储过程来更新员工维度表 EXEC process_employee_changes 1, 'John Smith', 2, '2022-01-01', '9999-12-31', 1; ``` 以上代码演示了一个简单的 SCD2 类型的维度表设计和存储过程实现。在该示例中，employee_dimension 表包含了员工维度数据的历史记录。当员工的信息发生变化时，存储过程会禁用旧版本的记录，并插入一个新版本的记录，保留员工信息的历史记录。这种方法可以让数据分析人员在进行分析时，能够追溯到过去的数据变化，更加准确地分析数据。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值