数仓2022

一、数仓

（1）维表数据量太大怎么处理？

① 水平拆分&垂直拆分
比如客户维表，将国际型客户，企业客户，个人客户拆开；
② 覆盖原始数据，并不保留之前的数据；
③ 微型维度：通过将一部分不稳定的属性从主维度中移出，并将它们放置到拥有自己代理键的新表中来实现的。这些属性相互之间没有直接关联，不存在自然键。通过为每个组合创建新行的一次性过程来加载数据。

（2）增量与全量同步

① 在传统的数据整合方案中，合并技术大多采用merge方式( update+insert）。当前流行的大数据平台基本都不支持update操作，现在我们比较推荐的方式是全外连接（full outer join) ＋数据全量覆盖重新加载（insert overwrite），即如日调度，则将当天的增量数据和前一天的全量数据做全外连接，重新加载最新的全量数据。在大数据量规模下，全量更新的性能比update要高得多。此外，如果担心数据更新错误问题，可以采用分区方式，每天保持一个最新的全量版本，保留较短的时间周期（如3～7天）。
② 数据漂移的