在开始做需求的时候,就知道我们的项目需要做批量处理,但是从“跑批”两个字面的意思,到渐渐的知道跑批是怎么回事,再到对程序开发中的跑批处理有一个比较清晰的认识,呵呵,这个距离就如同那句经典的话:世界上最远的距离,不是天与地的距离,而是我就在你身边,你却不知道我爱你。
对我们了解的情况做一个小小的总结:
数据不能够一条一条传给后台,工程上不可接受.这个经过实验验证, 一条一条的话 50000 条数据需要 6 个小时,时间上不可接受;
目前了解到的项目中的做法:可以采用 DB2 提供的 LOAD 的 Utility,先将数据写到文件里面再上传,然后执行 LOAD 的Utility将数据倒入数据库;了解到的项目采用FTP,传送的时候将文件切割成比较小的文件,这样来减小传输失败的时候产生的影响;如果数据传输失败,可以重传数据文件,这样损失不会很大,等到数据传输到主机上的时候就可以执行