WebMagic(三)-------保存到文件

本文介绍了如何基于WebMagic自定义保存网页抓取数据到文件的实现方式,包括解析原生代码并创建自己的JsonFilePipeline和MyFilePersistentBase类,以适应不同的文件输出需求。此外,提到该方法同样适用于数据保存到数据库。
摘要由CSDN通过智能技术生成

前言:

WebMagic定义了输出到控制台,和输出到文件的函数。

但是输出的文件名、格式、拆分、路径都是固定的,现在自己参考源码重新实现这个功能,可按照自己想要的输出。

根据该思路亦可将数据保存到数据库,而不仅仅是文件!

原生的保存到文件:

调用:上篇写的InfoByWebMagic类的main函数中调用

上篇文章中InfoByWebMagic类的main函数改为如下调用:https://blog.csdn.net/qq_39769369/article/details/82892385

输出结果:保存为多个.json文件

自己实现保存到文件:

看WebMagic原生保存到文件的类-----JsonFilePipeline

JsonFilePipeline实

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值