- 博客(2)
- 收藏
- 关注
RSS订阅转载 一般数据库增量数据处理和数据仓库增量数据处理的几种策略
开篇介绍 通常在数据量较少的情况下，我们从一个数据源将全部数据加载到目标数据库的时候可以采取的策略可以是：先将目标数据库的数据全部清空掉，然后全部重新从数据源加载进来。这是一个最简单并且最直观的并且不容易出错的一种解决方案，但是在很多时候会带来性能上的问题。 如果我们的数据源来自于不同的业务系统，数据动辄百万，千万甚至亿级计算。第一次需要全部加载，如果在第二次周期或者第三次周期的时候仍
2016-09-21 10:13:33
1136
转载 缓慢渐变维度 (Slowly Changing Dimension) 常见的三种类型及原型设计
在从 OLTP 业务数据库向 DW 数据仓库抽取数据的过程中，特别是第一次导入之后的每一次增量抽取往往会遇到这样的问题：业务数据库中的一些数据发生了更改，到底要不要将这些变化也反映到数据仓库中？在数据仓库中，哪些数据应该随之变化，哪些可以不用变化？考虑到这些变化，在数据仓库中的维度表又应该如何设计以满足这些需要。 很显然在业务数据库中数据的变化是非常自然和正常的，比如顾客的联系方式，手机号码
2016-09-21 10:06:40
1567
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人