数仓笔记-增量更新

最新推荐文章于 2022-05-01 16:08:50 发布
置顶 最新推荐文章于 2022-05-01 16:08:50 发布
阅读量1k 收藏 1
点赞数
分类专栏： 数据仓库 文章标签： 数据仓库
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/yezhoumin/article/details/112788418
版权

文章目录

前言

全量计算开发处理虽然简单，但随着数据量的增加计算资源和时间会倍速增长；在物力人力等成本考量下，引入增量更新进行开发难度和计算资源的平衡。

一、单表增量

前提

  • dwd_a事实表的数据来自ods_a
  • ods_a增量数据放在最新分区

设计

在这里插入图片描述
黄色为历史分区，以创建日期分区存放
绿色为增量数据，根据创建时间可以划分出来的分区
蓝色为合并后的分区
从黄色部分取和绿色划分相同的分区进行数据合并，再动态写回去

伪代码

insert overwrite table bule partition(dt)
select coalesce(green.columns,yellow.columns),coalesce(green.dt,yellow.dt)
最低0.47元/天 解锁文章
古 原
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
离线数仓（八）【DWD 层开发】
梦想是动物管理员
03-27 1426
DWD层开发
数据增量更新定义_数据仓库
weixin_39755824的博客
11-22 1943
数据仓库分层没有绝对的规范，适合的就是最好的，特别是企业已经有一个初版的数仓的时候，需要做好改造成本和可理解性之间的平衡。数据仓库是一套方法论，从规范定义、模型设计到数据服务，再到数据可管理、可追溯、可复用。背景在之前的文章高威：浅谈数仓模型（维度建模）​zhuanlan.zhihu.com中，有读者比较关注数仓分层的意义和作用，以及如何建立一个比较完善且能落地的数仓体系，所以在这里单独开一栏主要...
大数据仓库－增量更新
人生重要的不是所站的位置，而是所朝的方向。
12-19 484
  2015-12-03 朱洁 hadoop技术学习 现在是国内凌晨3点，为了抵挡睡意，还是写写技术博客。今天和大家讨论下大数据仓库中的更新技术。 当前很多大数据技术，如HDFS最早设定的是数据不更新，只增量叠加。传统数据仓库（Greenplum,treadata,oracle RAC）通常碰到两个问题： 1、更新的throughput不高。主要影响原因有两点，锁的原因，...
数仓增量更新数据
chw65897的博客
02-25 828
数仓 资源层 增量 更新数据 select * from 库2.表1 union all select a.* from 库1(原始数据层).表1 a left outer join 库2(资源层).表1 b on a.id = b.id where b.id is null; 然后根据分区字段 加载入新的分区 insert overwrite table 资源库.资源表(PARTITION(l...
数仓知识07：数据增量更新的几种方式
维克先生的博客
05-01 9200
1、增量更新的几种方式 增量更新的本质，其实是获取源表中数据变化的情况（增、删、改），然后将源表中发生的变化同步至目标表中。 不同的方式，获取源表中数据变化的情况不一样，受技术的限制、表结构的限制，某些方式可能无法获取到完整的数据变化情况，因此只能适用于特定的场景。 方式 简述 适用场景 详述 优点 缺点 时间戳增量1 记录每次读数完成时的最大时间戳，后续读数时只获取源头表中新增的数据，将其增量写入到目标表。 源表只增不删不改
冰河的渗透实战笔记-冰河.pdf
05-18
冰河整理的全网首个开源的以实战案例为背景的渗透实战笔记，全书共442页，共计37万字（不计空格）。整本书的内容涵盖：Kali基础、渗透工具、木马制作、钓鱼链接生成、爆破密码、内存溢出攻击、web渗透、数据提权、...
数仓4.0笔记2022-02-07
02-07
在这个笔记中，我们将深入探讨数仓4.0的核心概念、特点以及它如何改变数据分析的格局。 首先，数仓4.0是对传统数仓的升级，它在数仓3.0的基础上进一步融合了云计算、大数据处理、人工智能（AI）和机器学习等先进...
数仓建模ne-MM-mast开发笔记
最新发布
06-03
数仓建模ne-MM-mast开发笔记可能涵盖了一系列关于如何使用特定方法和技术来设计高效、可维护的数据仓库的信息。"c"标签可能指的是使用某种编程语言或工具进行开发，尽管在数仓建模中通常不直接涉及C语言，但可能是与...
Redis笔记-尚硅谷周阳V1.3-脑图
06-16
根据《Redis笔记-尚硅谷周阳V1.3》整理，脑图、思维导图xmind
JSP学习笔记-2.pdf
11-28
JSP学习笔记-2.pdf
用merge实现仓库数据的增量更新
nisjlvhudy的专栏
02-01 4024
本文只是用merge语句来实现仓库数据的增量更新，与以往使用的update、delete、insert并没有本质不同；之所以单独记录在这里，就是为了备查。 本文中使用的测试数据及其表结构，参见《仓库数据增量更新加载算法(支持混乱日期跑批) ，原文地址：http://blog.csdn.net/nsj820/article/details/6082478》博文；此文中数据重跑必须从需要重跑的那一天
大数据数仓中增量数据问题讨论
micklf的博客
09-29 7576
目录 数据增量类型介绍 三种增量类型的具体介绍 流水新增数据 常规业务变化数据 优化的业务变化数据 总结 数仓中增量数据的方法探讨 先做个数据例子 1月份 2月份 3月份 4月份 数仓分层 生产数据同步到ODS层 1月份ODS层表 2月份ODS层表 3月份ODS层表 4月份ODS层表 ODS→STD→DWD 方案一 方案二 方案三 数据增量类型介绍 ...
数仓(七)：全量、 增量、缓慢变化维、拉链表
.
11-13 5421
一、解决增量导入由于数据修改导致数据重复问题 方案一：全量更新 目标表只保留最新的一份，比如我们每天用sqoop抽取最新的一份全量数据到hive 全量表 全量表没有分区，表中的数据是前一天的所有数据，比如说今天是24号，那么全量表里面拥有的数据是23号的所有数据，每次往全量表里面写数据都会覆盖之前的数据，所以全量表不能记录历史的数据情况，只有截止到当前最新的、全量的数据。 方式：每天drop掉前一天的数据，重新抽一份最新的。 优点：节省空间，一些普通的使用也很方便，不用在选择表的时候加一个时间分
增量同步_是时候改变你数仓的增量同步方案了
weixin_29156679的博客
01-13 248
作者：祝威廉，资深数据架构，11年研发经验。同时维护和开发多个开源项目。擅长大数据/AI领域的一些思路和工具。现专注于构建集大数据和机器学习于一体的综合性平台，降低AI落地成本相关工作上。经过一段时间的演化，spark-binlog，delta-plus慢慢进入正轨。spark-binlog可以将MySQL binlog作为标准的Spark数据源来使用，目前支持insert/update...
Hive实现增量更新：full outer join 合并 + insert overwrite（阿里巴巴大数据实践中阿里平台使用方案）
weixin_46905895的博客
03-23 4288
首先感谢原文作者给我的启发，我加以修改。 https://blog.csdn.net/magicharvey/article/details/20692829 https://blog.csdn.net/CLKTOY/article/details/120306523 前言 我一直有个困惑，数仓日增量表，历史数据修改了除了拉链表还能怎么办？ 后来看了1和2，惭愧惭愧。 说实话我也看了阿里巴巴中台建设这本书，我也看到了p42页这一块full outer join 合并 + insert overwr.
SAP-BW数据仓库增量更新_小七_新浪博客
weixin_42559081的博客
10-11 102
1.说说假增量 我们都知道，对于BW来说，很多ECC的标准数据源自带了增量更新功能，每天各种凭证产生的增量数据会自动堆积到增量队列里，然后BW端做一个增量信息包按天把这些增量抽取到数据仓库里，非常轻松自然，对于客户和顾问，都是透明的自动的容易实施的，这也是上过ECC的企业数据仓库采用SAP BW的一个优势所在。 但是对于非ECC的一般数据库或者ECC的自定...
【数据仓库】全量表、快照表、增量表、拉链表、维度表、实体表、事实表
YYIverson的博客
12-26 4797
原文链接： https://blog.csdn.net/a6822342/article/details/100050548 https://blog.csdn.net/PTtaoge/article/details/80880494 https://blog.csdn.net/bjweimengshu/article/details/79256504 全量表 全量表没有分区，表中的数据...
数据仓库增量数据获取方式解决方案
Mr.pan felix的专栏
07-02 1580
我们通常所说的增量数据，其实更确切的说，应该是变量数据，包括对数据的增加、修改和删除。特别是当有些系统存在物理删除数据的情况时，这一点尤为重要。 从各源系统获取增量数据，是DW/BI类相关应用所必需的环节，那么从源系统获取增量数据的方式究竟有哪些呢？哪些又是我们经常使用的呢？下面我们就来简单介绍介绍： 这第一种可以是由源系统在数据处理过程当中由应用程序直接记录增量数据，产生增量数据文件。这种做法对源系统的效率会有较大影响，需要改造源系统的应用（植入获取增量数据的程序）所以如果源系统方比较...
Go语言学习笔记 - 雨痕
笔记的更新记录显示，作者随着时间的推移不断补充和完善内容，包括方法集、接口、反射、包文档、命令内容、标准库、附录、扩展库以及对一些错误的修正，反映了Go语言的演化过程。 这份笔记是学习Go语言的宝贵资源，...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值