定时任务优化

我们每天凌晨都要跑一个定时任务，插入逾期记录，并且重新计算用户的逾期，待还，待收等各种统计。前两天发现线上的逾期太多了，定时任务都跑到下午了。因此决定对定时任务进行优化，让他在凌晨跑完。

定时任务是按照借条分期来处理的，每张借条分期插入逾期记录，更新借条分期信息，更新借条信息，更新相关用户的各种统计信息。最先想到的优化办法是采用多线程，同时跑他50个线程，同时把可能产生互相锁表的用户统计采用sql来对全体人员进行更新，就是update t_user set n_cnt=统计where n_cnt!=统计，但是同一个借条的不同借条分期还是有可能抢锁，因此在执行的时候，如果抢锁，则再执行一遍，但是考虑到我们线上没有太多分期的借条，因此还是想试一下。第二天跑了一下发现多线程有互相锁表的情况，并且没有跑完，只能放弃多线程的思路了。全部采用sql的方式来处理了，即insert into()select from方式，然后再对所有可能发生变化的数据进行统计，即update t_user set n_cnt=统计where n_cnt!=统计。第二天跑了一下，才用了4~5分钟就跑完了全部的数据。

原来用oracle的时候，做账都是在存储过程中进行的，做账从来没有超时过，但是用mysql数据库后，一方面不推荐用存储过程，另一方面mysql客户端中支持单步调试的工具不多，因此只能退而求其次，采用应用服务器做账。但是应用服务器和数据库之间的时延也是个问题，注意了就好。