定时任务做etl清洗小记

版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/u011686226/article/details/81284521

etl清洗数据 2次定时任务取数据有重叠,做不到不漏也不多,做幂等性太繁琐,可考虑做一个统一的支持所有业务的封装的幂等中间件。

取数据也有问题,怎么取,取多了oom。

数据一致性,一个表依赖另外2个表,怎么保证下一次用到的时候没有其他表对其修改导致数据不一致。可能是当前定时任务,这种情况可以业务删规避,也可能是其他定时任务忘同一个表插入数据。

单点问题,任务挂了咋办。elastic-job?

部分失败重试机制。

一条数据不同地方消费导致数据不一致

实时同步。

展开阅读全文

没有更多推荐了,返回首页