前言:
WebMagic定义了输出到控制台,和输出到文件的函数。
但是输出的文件名、格式、拆分、路径都是固定的,现在自己参考源码重新实现这个功能,可按照自己想要的输出。
根据该思路亦可将数据保存到数据库,而不仅仅是文件!
原生的保存到文件:
调用:上篇写的InfoByWebMagic类的main函数中调用
上篇文章中InfoByWebMagic类的main函数改为如下调用:https://blog.csdn.net/qq_39769369/article/details/82892385
输出结果:保存为多个.json文件
自己实现保存到文件:
看WebMagic原生保存到文件的类-----JsonFilePipeline
JsonFilePipeline实