数仓建模—数据同步方案设计

数仓建模—数据同步方案设计

通过前面的学习数据仓库的特性之一是集成，关于一点你可以参考我们前面的文章

1. 数仓建模—数仓初识
2. 数仓建模—数据集成

数据集成狭义上来说就是把未经过加工处理的、不同来源的、不同形式的的原始业务数据同步到ODS层，在数据仓库建模中，未经任何加工处理的原始业务层数据，我们称之为ODS(Operational Data Store)数据,一般情况下，这些ODS层数据包括日志数据(埋点)和业务DB数据。对于业务DB数据而言(比如存储在MySQL中)，将数据采集并导入到数仓中是非常重要的一个环节。

那么，该如何将业务DB数据高效准确地同步到数仓中呢 一般企业会使用两种方案：

1. 直连同步其中直连同步的基本原理就是直连接数据库然后根据条件进行进行SELECT查询，然后将查询的数据存储到本地文件作为中间存储，最后把文件Load到数仓中。这种方式非常的简单方便，但是随着业务的发展，会遇到一些瓶颈。
2. 实时增量同步(数据库日志解析)，为了直连方案的问题，一般会使用实时增量的方式进行数据同步，其基本原理是CDC (Change Data Capture) + Merge，即实时Binlog采集 + 离线处理Binlog还原业务数据这样一套解决方案。

同步方案

直连同步

直连同步是指通过定义好的规范接口API和基于动态链接库的方式直接连接