源表含时间戳、做逻辑删除的情况，数据同步ETL方案分享

要求至少半小时会同步一次数据。

下面是我的方案图。

我觉得比较鸡肋的是，我的stage库表里每次存的只是本轮同步中新增的数据，若本轮没有任何新增的数据，那么stage对应的表就是空的。

其实一开始我很想设计出一个source表的副本库，存的是一模一样的数据。但是想到这个副本库可能要经历全删全增，频繁的短时间的读写会带来整体的性能下降，我就放弃了。

还想把stage库作为2次开发库，通过它能整合出新数据，但想得太天真了。欢迎讨论、请求指导教育~