百万数据的对账优化

写在前面

最近线上的对账程序一直不稳定，经常出现对账时间超长，影响结算跑批任务，导致后续业务受影响。

原来的流程

系统订单量不大的情况下可以这样子处理没有什么异常问题，随着系统订单的增长，对账时间不断增长，远远超过我们能忍的极限，比如说：到早上还没有对帐完，影响第二天出结算单的时间，不能做到财务T+1结算。极大的阻碍了业务的正常发展。

优化后的流程

优化思路大概分为以下几步：

• 将系统之前的串行对账改成并行对账
• 查询订单数据改成分布查询，不能一次加载几百万数据
• 对账结果分多线程批量写入

需要注意的地方：

• 线程之间通信的问题，可以采用共享变量方式将对账结果存入ConcurrentHashMap
• 线程数的大小需要控制好，不能超出机器本身的负载能力，
• 每次对完账之后记得清除集合数据，防止内存溢出

转载请注明原文出处：Harries Blog™ » 百万数据的对账优化