关于大规模录入的数据流转

因为要双次录入，双次一致才入正式库。经过试点区数据录入的教训，决定改进一下数据在库中的流转，A与B在 Table_T 录完后，若对比相同，选其中一条数据进入 Table_M ，同时将 A与B 的数据从Table_T 中移出，原样转入 Back_TableT，复核员在 Table_M 中进行复核，如数据没问题时，再转移进 Table_F 。  这样就有了4种同构表。  临时表、中间表、备份表、正式表。

      试点区数据时，因为程序的不完善，丢失了约2%的数据，还错位了一些数据，这次把所有的录入都原样保管，应该在程序出了问题时，仍能补救。如果在二个月后发现某项数据一直是错误的，会造成重大损失；

    还有，这样转移的考虑是，我们对于大数据的处理十分缺乏经验，这样把集中操作分散开来，同时的一种操作也不过在一张几万行记录的表里，应该不会随时间对实时录入速度产生越来越严重的影响。

   哪位朋友进行过大数据量或普查性质的表单实时录入软件，和俺联系了：）

本文转自   wenyan  51CTO博客，原文链接:http://blog.51cto.com/wenyan/10129