2020-11-13

这两天做了一个小程序，需求是每隔20分钟从数据库A中读取过去10天的单号，大概有2000多条，然后再for循环每个单号从数据库B中多张表关联查询相关数据，再通过计算和判断实现某些业务逻辑，最后触发相应的邮件。
这个程序一次运行完成时间为7-10分钟，经过逻辑和书写格式方面的优化，大概稳定在5分中左右，就再也无法减少运行时间了！
后来改成了parallel.for，但总抛出跨线程错误，具体原因我没深究。
就在黔驴技穷之际，我尝试了将for中的2000多条拆分为10等份，然后使用parallel.invoke多线程取并行执行这10等份，理论上会提高10倍的速度，实测运行时间稳定在了1分半。
今天总结一下留作记录，如何将一段正常的for循环批量处理性能提数倍。