要求至少半小时会同步一次数据。
下面是我的方案图。
我觉得比较鸡肋的是,我的stage库表里每次存的只是本轮同步中新增的数据,若本轮没有任何新增的数据,那么stage对应的表就是空的。
其实一开始我很想设计出一个source表的副本库,存的是一模一样的数据。但是想到这个副本库可能要经历全删全增,频繁的短时间的读写会带来整体的性能下降,我就放弃了。
还想把stage库作为2次开发库,通过它能整合出新数据,但想得太天真了。欢迎讨论、请求指导教育~
要求至少半小时会同步一次数据。
下面是我的方案图。
我觉得比较鸡肋的是,我的stage库表里每次存的只是本轮同步中新增的数据,若本轮没有任何新增的数据,那么stage对应的表就是空的。
其实一开始我很想设计出一个source表的副本库,存的是一模一样的数据。但是想到这个副本库可能要经历全删全增,频繁的短时间的读写会带来整体的性能下降,我就放弃了。
还想把stage库作为2次开发库,通过它能整合出新数据,但想得太天真了。欢迎讨论、请求指导教育~