(1)根据搜索条件查询数据然后导出到文件系统,获取文件的路径
(2)然后在把文件拉取到本地,顺便切割为小文件,然后把小文件在上传到文件系统,通过文件批处理系统进行具体数据处理。
(3)比较二个文件,可以使用google的文件排序算法,在磁盘上排序,排序好之后,然后计算出二个文件增量和差值就可以计算出,增量,减少的量。
com.google.code.externalsorting
externalsortingjava
启动一个一个后台线程,用于后台服务执行,可以把无用的文件进行删除。
后台线程就是一个死循环,里面可以sleep,做一些控制。