【转】数据仓库拉链算法在ORACLE中的实现

最新推荐文章于 2023-09-20 14:54:39 发布

shcqupc

最新推荐文章于 2023-09-20 14:54:39 发布

阅读量1k

点赞数

分类专栏： ORACLE

ORACLE 专栏收录该内容

92 篇文章 0 订阅

订阅专栏

1、拉链算法用到的相关表结构

建表脚本(源表、目的表、临时表).sql

[c-sharp] view plain copy print ?

--生成目标表
create table EDW_T100_STATUS_H
(
ID VARCHAR2(8) not null,
STATUS VARCHAR2(8) not null,
START_DATE DATE not null,
END_DATE DATE not null
)
;
--生成源表
create table ODS_XT_ZT
(
ID VARCHAR2(8),
STATUS VARCHAR2(8),
ODS_DATA_DATE VARCHAR2(8)
)
;
--生成数据恢复机制用的临时表
create global temporary table TMP_T100_STATUS_H
(
ID VARCHAR2(8) not null,
STATUS VARCHAR2(8) not null,
START_DATE DATE not null,
END_DATE DATE not null
)
on commit delete rows;
--生成存放历史的临时表
create global temporary table TMP_T100_STATUS_H_PRE
(
ID VARCHAR2(8) not null,
STATUS VARCHAR2(8) not null,
START_DATE DATE not null,
END_DATE DATE not null
)
on commit delete rows;
--生成存放当前数据的临时表
create global temporary table TMP_T100_STATUS_H_CUR
(
ID VARCHAR2(8) not null,
STATUS VARCHAR2(8) not null,
START_DATE DATE not null,
END_DATE DATE not null
)
on commit delete rows;
--生成存放新增数据(包含：1、CUR中有而PRE中没有的数据；2、CUR中有PRE中也有，但属性值有更新的，也需要新增开链的数据)的临时表
create global temporary table TMP_T100_STATUS_H_INS
(
ID VARCHAR2(8) not null,
STATUS VARCHAR2(8) not null,
START_DATE DATE not null,
END_DATE DATE not null
)
on commit delete rows;
--生成存放需要关链数据(包含：1、PRE中有而CUR中没有；2、PRE中有CUR中也有，但属性值有更新，需要将老数据关链的数据)的临时表
create global temporary table TMP_T100_STATUS_H_UPD
(
ID VARCHAR2(8) not null,
STATUS VARCHAR2(8) not null,
START_DATE DATE not null,
END_DATE DATE not null
)
on commit delete rows;

2、插入测试数据

INSERT到源表测试数据.sql

[c-sharp] view plain copy print ?

TRUNCATE TABLE Ods_Xt_Zt;
INSERT INTO Ods_Xt_Zt(ID,Status,Ods_Data_Date)
SELECT '1','正常','20100101' FROM dual
UNION ALL
SELECT '2','正常','20100101' FROM dual
UNION ALL
SELECT '3','正常','20100101' FROM dual
;
INSERT INTO Ods_Xt_Zt(ID,Status,Ods_Data_Date)
SELECT '1','正常','20100102' FROM dual
UNION ALL
SELECT '2','呆滞','20100102' FROM dual
UNION ALL
SELECT '4','正常','20100102' FROM dual
;
COMMIT;
--select * from Ods_Xt_Zt;

3、实现拉链算法的代码

拉链过程.sql

[c-sharp] view plain copy print ?

DECLARE
P_ETLDATE VARCHAR2(8) := '20100102'; --日期参数
O_RUNSTATUS NUMBER; --执行结果
O_MSG VARCHAR2(100); --错误返回
--定义存储过程信息
V_PROC_NAME VARCHAR2(50) := 'P_T100_STATUS_H';
V_TABLE_NAME VARCHAR2(50) := 'EDW_T100_STATUS_H';
V_START_TIMESTAMP TIMESTAMP; --加载开始时间
V_END_TIMESTAMP TIMESTAMP; --加载结束时间
V_RECORD_NUMBER INTEGER; --记录数
--定义错误代码，错误状态
V_SQLERRM VARCHAR2(1000); --异常信息
V_ERR_SQL VARCHAR2(1000); --出错位置
BEGIN
--捕获过程开始时间
SELECT SYSDATE INTO V_START_TIMESTAMP FROM dual;
--数据恢复(删除start_date大于当天的数据；将end_date大于当天且不为无限大的数据将end_date更新为无限大)
--(更新操作之所以使用先删除再插入而不是直接UPDATE的方式是基于效率的考虑)
V_ERR_SQL:='DELETE FROM EDW_T100_STATUS_H';
DELETE FROM EDW_T100_STATUS_H
WHERE Start_Date >= TO_DATE(P_ETLDATE,'YYYY-MM-DD')
;
V_ERR_SQL:='INSERT INTO TMP_T100_STATUS_H';
INSERT INTO TMP_T100_STATUS_H
SELECT *
FROM EDW_T100_STATUS_H
WHERE End_Date >= TO_DATE(P_ETLDATE,'YYYY-MM-DD')
AND End_Date <> TO_DATE('30001231','YYYY-MM-DD')
;
V_ERR_SQL:='DELETE FROM EDW_T100_STATUS_H-2';
DELETE FROM EDW_T100_STATUS_H
WHERE End_Date >= TO_DATE(P_ETLDATE,'YYYY-MM-DD')
AND End_Date <> TO_DATE('30001231','YYYY-MM-DD')
;
V_ERR_SQL:='INSERT INTO EDW_T100_STATUS_H FROM TMP_T100_STATUS_H';
INSERT INTO EDW_T100_STATUS_H
(Id
,Status
,Start_Date
,End_Date
)
SELECT Id
,Status
,Start_Date
,TO_DATE('30001231','YYYY-MM-DD')
FROM TMP_T100_STATUS_H
;
--取目标表中的上日状态正常(未被封链，即end_date为最大日期)的数据
V_ERR_SQL:='INSERT INTO TMP_T100_STATUS_H_PRE';
INSERT INTO TMP_T100_STATUS_H_PRE
(Id
,Status
,Start_Date
,End_Date
)
SELECT Id
,Status
,Start_Date
,End_Date
FROM EDW_T100_STATUS_H
WHERE END_DATE = TO_DATE('30001231','YYYY-MM-DD')
;
--从源表中获取当日数据(将CUR中的start_date置为当天，end_date置为最大日期)
V_ERR_SQL:='INSERT INTO TMP_T100_STATUS_H_CUR';
INSERT INTO TMP_T100_STATUS_H_CUR
(Id
,Status
,Start_Date
,End_Date
)
SELECT ID
,Status
,TO_DATE(P_ETLDATE,'YYYY-MM-DD')
,TO_DATE('30001231','YYYY-MM-DD')
FROM ODS_XT_ZT
WHERE Ods_Data_Date = P_ETLDATE
;
--[cur-pre] = 增量数据{需要开链}(包含两部分：1、在CUR不在PRE中的纯新增数据；2、在CUR也在PRE中，但CUR中其属性值有更新。=>关联关系中，有主键，也有属性，才能全部包含这两部分)
V_ERR_SQL:='INSERT INTO TMP_T100_STATUS_H_INS';
INSERT INTO TMP_T100_STATUS_H_INS
(Id
,Status
,Start_Date
,End_Date
)
SELECT a1.Id
,a1.Status
,a1.Start_Date
,a1.End_Date
FROM TMP_T100_STATUS_H_CUR a1
WHERE NOT EXISTS (SELECT 1
FROM TMP_T100_STATUS_H_PRE a2
WHERE a1.Id = a2.Id
AND a1.Status=a2.Status
)
;
--[pre - cur] = 要封链的数据(包含两部分：1、在PRE中不在CUR中的纯封链数据；2、在PRE中也在CUR中，但CUR中属性值已经改变。=>关联关系中，有主键，也有属性，才能全部包含这两部分)
V_ERR_SQL:='INSERT INTO TMP_T100_STATUS_H_UPD';
INSERT INTO TMP_T100_STATUS_H_UPD
(Id
,Status
,Start_Date
,End_Date
)
SELECT a1.Id
,a1.Status
,a1.Start_Date
,a1.End_Date
FROM TMP_T100_STATUS_H_PRE a1
WHERE NOT EXISTS (SELECT 1
FROM TMP_T100_STATUS_H_CUR a3
WHERE a1.Id = a3.Id
AND a1.Status = a3.Status
)
;
--删除目标表中需要更新的数据(采用先删除再插入而不是直接UPDATE的方式，完全出于效率考虑){筛选条件用：主键+开始时间}
V_ERR_SQL:='DELETE FROM EDW_T100_STATUS_H';
DELETE FROM EDW_T100_STATUS_H
WHERE (Id,Start_Date)
IN (SELECT Id
,start_date
FROM TMP_T100_STATUS_H_UPD
)
;
--向目标表中插入更新数据(将结束日期值置成当天日期)
V_ERR_SQL:='INSERT INTO EDW_T100_STATUS_H FROM TMP_T100_STATUS_H_UPD';
INSERT INTO EDW_T100_STATUS_H
(Id
,Status
,Start_Date
,End_Date
)
SELECT Id
,Status
,Start_Date
,TO_DATE(P_ETLDATE,'YYYY-MM-DD')
FROM TMP_T100_STATUS_H_UPD
;
--向目标表中插入新增数据
V_ERR_SQL:='INSERT INTO EDW_T100_STATUS_H FROM TMP_T100_STATUS_H_INS';
INSERT INTO EDW_T100_STATUS_H
(Id
,Status
,Start_Date
,End_Date
)
SELECT Id
,Status
,TO_DATE(P_ETLDATE,'YYYY-MM-DD')
,TO_DATE('30001231','YYYY-MM-DD')
FROM TMP_T100_STATUS_H_INS
;
--正常处理
V_RECORD_NUMBER := SQL%ROWCOUNT;
SELECT SYSDATE INTO V_END_TIMESTAMP FROM dual;
INSERT INTO EDW_ETL_LOG_DETAIL(START_TIMESTAMP,END_TIMESTAMP,PROC_NAME,TABLE_NAME,ETL_RECORD_NUM,ETL_MEMO,P_ETLDATE)
VALUES (V_START_TIMESTAMP,V_END_TIMESTAMP,V_PROC_NAME,V_TABLE_NAME,V_RECORD_NUMBER,'成功',P_ETLDATE);
COMMIT;
--异常处理
EXCEPTION WHEN OTHERS THEN
BEGIN
ROLLBACK;
V_SQLERRM := SQLERRM;
INSERT INTO EDW_ETL_LOG_DETAIL(START_TIMESTAMP,END_TIMESTAMP,PROC_NAME,TABLE_NAME,ETL_RECORD_NUM,ETL_MEMO,ERR_MSG,ERR_SQL,P_ETLDATE)
VALUES (V_START_TIMESTAMP,V_END_TIMESTAMP,V_PROC_NAME,V_TABLE_NAME,0,'失败',V_SQLERRM,V_ERR_SQL,P_ETLDATE);
O_RUNSTATUS := 1;
O_MSG := 'PROGRAMMING ERROR HAPPENED!';
COMMIT;
END;
END;

4、总结说明

(1)、拉链算法要求提供的数据源最好以全量方式提供；要深入理解[INS=CUR-PRE]和[UPD=PRE-CUR]所分别包含的两个方面；表UPD及更新特指目标表中需要将end_date从max_date置为p_etldate，与源表中的属性字段更新，目标表需要先关链再开链，有本质区别；相关关键注释，在代码中有详细说明。

(2)、比对，就是全字段比对，包含主键和属性；源数据如果是增量的情况，就没办法给已经删除的记录关链，因为删掉的记录不会再传过来，在源数据的表现上，跟没有变化的数据是一样的，这时的UDP表只包含源数据中有变化的那一部分需要封链的记录，源表中被删除的记录，将永不封链；如果源表有增量传的也有全量传的，那只能作为增量数据来考虑，还要作特殊处理，条件为in(主键)and_not_in(主键+属性)。

(3)、针对不同的源数据供数方式，拉链算法的不同主要体现在INSERT到UPD表的关联上，插入到INS上等，并没有不同

全量的情况：

[c-sharp]view plain copy print ?