java+webmagic爬取csdn文章

最新推荐文章于 2024-03-21 22:39:00 发布

Ailurophile_Lc

最新推荐文章于 2024-03-21 22:39:00 发布

阅读量237

点赞数

分类专栏： java vue 文章标签：爬虫 java vue redis selenium

本文链接：https://blog.csdn.net/Rex9910/article/details/113244533

版权

本文介绍如何使用Java的webmagic框架爬取CSDN上的文章，涉及动态页面处理、数据库存储、Selenium辅助爬取、Redis进行去重和增量爬取。还分享了前端配置爬取规则的实现，以及遇到CSDN改版后的应对策略。

摘要由CSDN通过智能技术生成

用webmagic爬虫框架，做了一个demo来爬取csdn的文章

可以根据用户名，来爬取这个用户的文章,在这之前，建议有兴趣的可以先看一下官方文档

首先，是引入webmagic的jar包，开始这里我只使用了核心的包，下面是gradle的引入

    // https://mvnrepository.com/artifact/us.codecraft/webmagic-core
    compile group: 'us.codecraft', name: 'webmagic-core', version: '0.7.4'
    // https://mvnrepository.com/artifact/us.codecraft/webmagic-extension
    compile group: 'us.codecraft', name: 'webmagic-extension', version: '0.7.4'

爬取文章后，我们需要存入数据库里，所以这里设计一下数据库的表，需要注意的是，表结构的编码设置为utf8mb4,因为这个编码可以支持一些表情符号的录入，其他的编码类型，可能会导致文章录入数据库的时候失败

文章内容“content”字段，类型需为mediumtext，因为文章里包含了标签，实际上的文章内容长度非常大，所以最好设置这种类型，避免数据过长，存入失败

建表语句

SET NAMES utf8mb4;
SET FOREIGN_KEY_CHECKS = 0;

-- ----------------------------
-- Table structure for demo
-- ----------------------------
DROP TABLE IF EXISTS `demo`;
CREATE TABLE `demo`  (
  `id` bigint(0) NOT NULL,
  `title` varchar(255) CHARACTER SET utf8 COLLATE utf8_general_ci NULL DEFAULT NULL COMMENT '文章标题',
  `release_time` timestamp(0) NULL DEFAULT CURRENT_TIMESTAMP(0) COMMENT '发布时间',
  `content` mediumtext CHARACTER SET utf8mb4 COLLATE utf8mb4_0900_ai_ci NULL COMMENT '文章内容',
  `author` varchar(255) CHARACTER SET utf8mb4 COLLATE utf8mb4_0900_ai_ci NULL DEFAULT NULL COMMENT '文章作者',
  `user_name` varchar(255) CHARACTER SET utf8mb4 COLLATE utf8mb4_0900_ai_ci NULL DEFAULT NULL COMMENT '用戶名',
  `create_date` datetime(0) NULL DEFAULT NULL ON UPDATE CURRENT_TIMESTAMP(0) COMMENT '创建时间',
  PRIMARY KEY (`id`) USING BTREE
) ENGINE = InnoDB CHARACTER SET = utf8mb4 COLLATE = utf8mb4_0900_ai_ci ROW_FORMAT = Dynamic;

SET FOREIGN_KEY_CHECKS = 1;

编写java代码

Demo类，使用@Accessors注解，可以在new对象后，链式注入属性值，而不是通过对象引用 “.”出来


import com.baomidou.mybatisplus.annotation.TableField;
import com.baomidou.mybatisplus.extension.activerecord.Model;
import com.baomidou.mybatisplus.extension.plugins.pagination.Page;
import com.fasterxml.jackson.annotation.JsonFormat;
import lombok.Data;
import lombok.EqualsAndHashCode;
import lombok.experimental.Accessors;

import java.util.Date;

/**
 * (Demo)实体类
 *
 * @author lc
 * @since 2021-01-22 14:12:54
 */

@EqualsAndHashCode(callSuper = true)
@SuppressWarnings("serial")
@Data
@Accessors(chain = true)
public class Demo extends Model<Demo> {

    private Long id;
    /**
     * 文章标题
     */
    private String title;
    /**
     * 发布时间
     */
    @JsonFormat(pattern="yyyy-MM-dd HH:mm:ss",timezone="GMT+8")
    private Date releaseTime;
    /**
     * 文章内容
     */
    private String content;
    /**
     * 文章作者
     */
    private String author;
    /**
     * 用戶名
     */
    private String userName;
    /**
     * 创建时间
     */
    @JsonFormat(pattern="yyyy-MM-dd HH:mm:ss",timezone="GMT+8")
    private Date createDate;
    /**
     * 开始时间
     */
    @TableField(exist = false)
    private Date startDate;
    /**
     * 结束时间
     */
    @TableField(exist = false)
    private Date endDate;
    /**
     * 分页对象
     */
    @TableField(exist = false)
    private Page<Demo> page;
}

接着就是爬虫的实现了，首先看一下官网给出的例子

 Spider.create(new GithubRepoPageProcessor())
            //从"https://github.com/code4craft"开始抓
            .addUrl("https://github.com/code4craft")
            .addPipeline(new JsonFilePipeline("D:\\webmagic\\"))
            //开启5个线程抓取
            .thread(5)
            //启动爬虫
            .run();

其中，GithubRepoPageProcessor类是自己创建的，实现了PageProcessor接口，重写process方法，在process方法里，是我们处理爬取页面逻辑的地方。

public class GithubRepoPageProcessor implements PageProcessor {

    // 部分一：抓取网站的相关配置，包括编码、抓取间隔、重试次数等
    private Site site = Site.me().setRetryTimes(3).setSleepTime(1000);

    @Override
    // process是定制爬虫逻辑的核心接口，在这里编写抽取逻辑
    public void process(Page page) {
        // 部分二：定义如何抽取页面信息，并保存下来
        page.putField("author", page.getUrl().regex("https://github\\.com/(\\w+)/.*").toString());
        page.putField("name", page.getHtml().xpath("//h1[@class='entry-title public']/strong/a/text()").toString());
        if (page.getResultItems().get("name") == null) {
            //skip this page
            page.setSkip(true);
        }
        page.putField("readme", page.getHtml().xpath("//div[@id='readme']/tidyText()"));

        // 部分三：从页面发现后续的url地址来抓取
        page.addTargetRequests(page.getHtml().links().regex("(https://github\\.com/[\\w\\-]+/[\\w\\-]+)").all());
    }

    @Override
    public Site getSite() {
        return site;
    }

    public static void main(String[] args) {

        Spider.create(new GithubRepoPageProcessor())
                //从"https://github.com/code4craft"开始抓
                .addUrl("https://github.com/code4craft")
                //开启5个线程抓取
                .thread(5)
                //启动爬虫
                .run();
    }
}

在写到这些的时候，我觉得这样爬取限制性太大，因为如果把爬取内容都写死在代码里，这样爬取实际上是很鸡肋的，每次换成其他地址爬取都需要修改一次代码。所以我写了前端页面，这样可以动态的去配置一些东西，后端再去接收前端传递过来的参数信息，包括文章的一些爬取正则验证，xpath用来获取内容这些东西，都可以灵活配置。接下来我就写了一个类，将前端配置的爬取规则信息。接收并序列化为一个实体。这样方便取值，其实用Map接收也可以，但是每个字段都需要转化一下，代码就显得臃肿。

ArticleSpideEntity类，用来接收前端的参数

import lombok.Data;

/**
 * 动态配置抓取信息
 *
 * @description:
 * @author: lc
 * @time: 2021/1/18 10:09
 */
@Data
public class ArticleSpideEntity {

    /**
     * 用户名
     */
    private String userName;
    /**
     * 抓取入口url
     */
    private String mainUrl;
    /**
     * 文章详情正则
     */
    private String articleDetailsRegular;
    /**
     * 文章列表url
     */
    private String articleListUrl;
    /**
     * 文章列表xpath
     */
    private String articleListXpath;
    /**
     * 文章标题xpath
     */
    private String articleTitleXpath;
    /**
     * 文章主体xpath
     */
    private String articleContentXpath;
    /**
     * 文章时间xpath
     */
    private String articleReleaseTimeXpath;
    /**
     * 作者xpath
     */
    private String authorXpath;
    /**
     *  当前页xpath
     */
    private String currentPageXpath;
}

前端表单页面，这个页面代码我会放在此文章的最后处

然后就是正式的开始爬取了，下面是我模仿官网写出的一个爬取逻辑实现类

import cn.hutool.core.date.DateUtil;
import cn.hutool.core.util.CharsetUtil;
import cn.hutool.core.util.ObjectUtil;
import com.lc.nacosprovider.modules.entity.ArticleSpideEntity;
import com.lc.nacosprovider.modules.entity.Demo;
import lombok.extern.slf4j.Slf4j;
import org.springframework.stereotype.Component;
import us.codecraft.webmagic.Page;
import us.codecraft.webmagic.Site;
import us.codecraft.webmagic.Spider;
import us.codecraft.webmagic.pipeline.ConsolePipeline;
import us.codecraft.webmagic.processor.PageProcessor;
import us.codecraft.webmagic.selector.Html;

import java.util.ArrayList;
import java.util.Date;
import java.util.List;

/**
 * @description:
 * @author: lc
 * @time: 2021/1/14 10:09
 */
@Slf4j
@Component
public class ArticlePageProcessor implements PageProcessor {
    /**
     * 文章详情正则验证规则
     */
    private static String ARTICLE_DETAILS_REGULAR;
    /**
     * 文章列表url
     */
    private static String ARTICLE_LIST_URL;
    /**
     * 文章列表xpath
     */
    private static String ARTICLE_LIST_XPATH;
    /**
     * 文章标题xpath
     */
    private static String ARTICLE_TITLE_XPATH;

    /**
     * 文章内容xpath
     */
    private static String ARTICLE_CONTENT_XPATH;

    /**
     * 文章发布时间xpath
     */
    private static String ARTICLE_RELEASE_TIME_XPATH;
    /**
     * 当前页xpath
     */
    private static String CURRENT_PAGE_XPATH;
    /**
     * 文章作者xpath
     */
    private static String AUTHOR_XPATH;
    /**
     * 用户名
     */
    private static String userName;
    /**
     * 当前爬取时间
     */
    private static Date currentTime;

    /**
     * 爬虫配置
     */
    private static Site site;
    /**
     * 爬取的文章集合
     */
    private static List<Demo> demoList;
    /**
     * 爬取最大页码
     */
    private static Integer maxPages;


    /**
     * process是定制爬虫逻辑的核心接口，在这里编写抽取逻辑
     */
    @Override
    public void process(Page page) {
        //如果不是文章，则抓取该页面包含的链接
        if (!page.getUrl().regex(ARTICLE_DETAILS_REGULAR).match()) {
            if (maxPages