heritrix job太多,却想要合并怎么办?
很简单
1.合并seeds文件,把多个job的seed拷到一起
2.合并Scheduler里面的正则
3.合并recover.gz
4.合并mirror里面下载下来的文件
关于recover.gz,可以调用heritrix自带的工具类RecoveryJournal
很简单
1.合并seeds文件,把多个job的seed拷到一起
2.合并Scheduler里面的正则
3.合并recover.gz
4.合并mirror里面下载下来的文件
关于recover.gz,可以调用heritrix自带的工具类RecoveryJournal