数据同步过程中需要考虑的问题

在数据同步过程中，需要对数据源进行一些分析。分析的过程中，要考虑数据的种类，要进行的处理，以及数据的时效性。

数据的种类

• 对于来的数据，可以分为以下几类：
  

insert
update
delete

• 针对这三种的组合有两种：

只有insert的
insert/update/delete并存的

对数据的处理

对于要进入的目的库来说，有一下处理类型：

• 不处理
• 针对单表进行处理，比如数据类型转换，数据校验等
• 需要关联小表进行处理，比如码表转换
• 需要关联打标进行处理

时效的要求

抽取数据、处理数据 、导入数据都需要时间，在满足不同的时效，应该如何处理