web magic

最新推荐文章于 2024-09-18 07:45:00 发布

fq-bai

最新推荐文章于 2024-09-18 07:45:00 发布

阅读量1.1k

点赞数

分类专栏：个人笔记爬虫

本文链接：https://blog.csdn.net/u013960139/article/details/51685189

版权

本文介绍了如何实现Web爬虫的断点续抓功能。通过使用urls.txt文件记录待抓取URL，并利用cursor.txt跟踪处理进度，确保在爬虫中断后能从上次停止的位置继续。在多线程环境下，根据线程数和上次断点位置确定继续抓取的URL范围。

摘要由CSDN通过智能技术生成

目标url：例子

package com.spider.test;

import us.codecraft.webmagic.Page;
import us.codecraft.webmagic.Site;
import us.codecraft.webmagic.Spider;
import us.codecraft.webmagic.processor.PageProcessor;

public class chinataxProcessor implements PageProcessor {

    private Site site;

    public chinataxProcessor() {
        this.site = Site.me().setRetryTimes(3