文件操作的事务保证

对应数据库操作
断点表更新和数据提交应该处于同一个事务中，通过数据库事务来保证完整性。
文件操作
    文件的解压和下载等，完成前应该放入临时目录中。完成后，从临时目录移动到工作目录，并同时删除或更名原始文件来避免重复采集。
   
尽管如此，还是不能保证移动成功但是更名或删除没完成前断电。
有更完整的操作
入库进程对待处理文件进行采集，重命名（yyyymmdd_sequence, 子进程tar –czf打包压缩同时删除原始文件），入库，在数据库中标识文件状态同时对在断点表进行更新，下次重启时会以该断点为参考起点进行文件重命名。（原始文件名格式也是固定的，所以可以根据文件名进行过滤采集。如此重命名方式保证后来产生的文件排序上递增的）
2.1处理进程的采集线程根据数据库中的文件状态到文件服务器上顺序采集文件到工作目录，然后更新内存中的断点。重启后删除本地文件，重新根据数据库中的文件状态进行采集。
2.2处理进程的主线程，扫描工作目录，根据内存中的断点（第一次启动时用数据库中的断点表初始化）顺序处理文件，对已处理的文件把结果更新到数据库并在同一个事务中更新采集表中的文件状态。
3. 清理进程根据采集表中的文件状态，对过期文件和已处理文件进行清理。
 

过程：采集到文件服务器，更新数据库->处理（内部也有采集），更新数据库->清理，删除文件和数据库记录