解决增量新增及更新中的拉链表核心思想

最新推荐文章于 2024-09-28 17:37:39 发布

西瓜瓜尓

最新推荐文章于 2024-09-28 17:37:39 发布

阅读量213

点赞数 3

分类专栏： # 解决缓慢渐变维中的拉链表文章标签： hive sql 数据库

本文链接：https://blog.csdn.net/l5261_1625/article/details/138729697

版权

解决缓慢渐变维中的拉链表专栏收录该内容

2 篇文章 0 订阅

订阅专栏

解决增量新增及更新中的拉链表核心思想

1.从ODS层获取增量数据(上一天新增和更新的数据)
2.拿着DWD原始拉链表数据 left join 增量数据 ,目的是修改原始拉链中历史数据的结束时间
3.拿着left join 的结果集 再 union all 增量数据,目的是获取到最新的拉链数据
4.把最新的拉链数据,优先保存到DWD对应的临时表中,目的是保证数据安全,即使中途失败原始拉链数据依然存在
5.使用insert+select 方式把临时表中数据灌入DWD拉链表中