保单数据遗漏问题记录

  问题描述：用户频繁报生产事件，原因是查不到保单数据。

  此保单数据从五个上游系统（各种保险机构）同步而来（使用datastage同步并调用存储过程），先会插入到一个临时表temp_policy，然后有存储过程将临时表的数据处理后导入到正式表中regular_policy中。

最开始猜测保单数据丢失的原因为将临时表数据导到正式表中的存储过程耗时过长未执行完。

然后开始查存储过程代码，看到有记录的日志，查看日志后发现每次的同步都顺利执行完，并无报错。

继续查看日志，发现导入到正式表的日志隔天才有数据，再看datastage发现每天下午四点的增量同步有很多天都跑到了第二天四点之后，影响了第二天的同步。

增量数据为什么耗时如此长呢？继续查看每天增量数据量，每天都有六百多万。

六百万的数据量有些夸张，看日志注意到几个月内每天的同步的最小批次号都是不变的。按之前的逻辑来说，每天同步后需清空临时表，同步批次号应该是要递增的。

查看临时表数据，发现几个月前的数据还在，并没有清空临时表。

回去看代码，发现并没有调用清空临时表的代码。