基于 WebMagic 的 Java 小说爬虫

最新推荐文章于 2024-05-20 22:06:37 发布
最新推荐文章于 2024-05-20 22:06:37 发布
阅读量1.6k 收藏 4
点赞数 3
文章标签： java webmagic novel-spider
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_42451060/article/details/82945418
版权

代码地址：https://github.com/her-cat/novel-spider

WebMagic 简介

WebMagic 是一个无须配置、便于二次开发的爬虫框架，它提供简单灵活的API，只需少量代码即可实现一个爬虫。使用的时候不需要你关心一些细节，比如网络请求，是使用 Apache HttpClient 还是 Java 原生的 HttpURLConnection，提取页面上的数据也不需要你手写正则，你可以选择使用 XPath、CSS选择器、正则表达式、JsonPath 提取页面上的数据。

【WebMagic 架构】

WebMagic 组件

说了那么多 WebMagic 优点，接下来就介绍一下 WebMagic 的核心组件。

Downloader

Downloader 负责从互联网上下载页面（默认使用Apache HttpClient），以便后续处理。

重点：下载页面

PageProcessor

PageProcessor 是爬虫的核心部分，用于解析页面，提取出需要的数据，发现新的链接。

重点：提取数据、发现新链接

Scheduler

Scheduler 负责管理待抓取的URL，以及一些去重的工作。

重点：管理URL

PipeLine

PipeLine 负责处理 PageProcessor 提取出来的数据，包括计算、持久化到文件、数据库等。框架自带了 输出到控制台 和 保存到文件 两种结果处理方案。

重点：处理数据

核心代码

采集一本小说涉及到的页面有 小说简介、章节目录、章节内容，如果需要采集多本的话，那么还需要一个能够获取小说列表的地方，这里用的是分类下的小说页面。

WebMagic 相关API说明：

  • getHtml() 获取 Html 对象
  • addTargetRequest() 放入新链接（单个url）
  • addTargetRequests() 放入新链接（多个url）
  • putField() 放入处理结果供 Pipeline 使用
  • xpath() 使用 XPath 语法查找元素
  • regex() 使用正则表达式查找元素
public class X23usPageProcessor implements PageProcessor {

    private Site site = Site.me().addHeader("User-Agent", "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.100 Safari/537.36").setRetryTimes(3).setSleepTime(1000);

    /**
     * 分类URL
     */
    private static final String CATEGORY_PAGE_URL = "htt(p|ps)://www\\.x23us\\.com/class/\\d+_\\d+.html";

    /**
     * 简介URL
     */
    private static final String SUMMARY_PAGE_URL = "htt(p|ps)://www\\.x23us\\.com/book/\\d+";

    /**
     * 目录URL
     */
    private static final String CATELOG_PAGE_URL = "htt(p|ps)://www\\.x23us\\.com/html/\\d+/\\d+/$";

    /**
     * 章节URL
     */
    private static final String CHAPTER_PAGE_URL = "htt(p|ps)://www\\.x23us\\.com/html/\\d+/\\d+/\\d+.html";

    public Site getSite() {
        return site;
    }

    public void process(Page page) {
        Selectable url = page.getUrl();
        if (url.regex(CATEGORY_PAGE_URL).match()) {
            processCategoryPage(page);
        } else if (url.regex(SUMMARY_PAGE_URL).match()) {
            processSummaryPage(page);
        } else if (url.regex(CATELOG_PAGE_URL).match()) {
            processCatelogPage(page);
        } else if (url.regex(CHAPTER_PAGE_URL).match()) {
            processChapterPage(page);
        } else {
            page.setSkip(true);
        }
    }

    /**
     * 处理分类页面
     *
     * @param page
     */
    public void processCategoryPage(Page page) {
        Selectable html = page.getHtml().xpath("//*[@id=\"content\"]/dd[1]/table/tbody");
        page.putField("type", "category");
        // 小说简介页面url
        page.addTargetRequests(html.regex(String.format("(%s)", SUMMARY_PAGE_URL)).all());
        // 小说章节目录页面url
        page.addTargetRequests(html.regex("(htt(p|ps)://www\\.x23us\\.com/html/\\d+/\\d+/)").all());
        // 获取下一页url
        String nextPageUrl = page.getHtml().xpath("//div[@id='pageLink']/a[@class='next']/@href").toString();
        if (nextPageUrl != null) {
            page.addTargetRequest(nextPageUrl);
        }
    }

    /**
     * 处理简介页面
     *
     * @param page
     */
    public void processSummaryPage(Page page) {
        Html html = page.getHtml();
        Map<Object, Object> novel = new HashMap<Object, Object>();
        Selectable category = html.xpath("//*[@id=\"at\"]/tbody/tr[1]/td[1]/a");
        String process = html.xpath("//*[@id=\"at\"]/tbody/tr[1]/td[3]/text()").toString();
        if (process.contains("连载")) {
            novel.put("process", 1);
        } else if (process.contains("完成")) {
            novel.put("process", 2);
        } else {
            novel.put("process", 3);
        }

        novel.put("id", page.getUrl().regex(String.format("(%s)", SUMMARY_PAGE_URL)).toString());
        novel.put("name", html.xpath("//h1/text()").toString().split(" ")[0]);
        novel.put("cover_url", html.xpath("//*[@id=\"content\"]/dd[2]/div[1]/a/img/@src").toString());
        novel.put("introduction", html.xpath("//*[@id=\"content\"]/dd[4]/p[2]/text()").toString());
        novel.put("tags", html.xpath("//*[@id=\"content\"]/dd[4]/p[5]/u").all().toString().replace(",", ""));
        novel.put("latest_chapter", html.xpath("//*[@id=\"content\"]/dd[4]/p[6]/a/text()").toString());
        novel.put("author_name", html.xpath("//*[@id=\"at\"]/tbody/tr[1]/td[2]/text()").toString());
        novel.put("category_id", category.xpath("/a/@href").regex("/class/(\\d+)_\\d+\\.html").toString());
        novel.put("category_name", category.xpath("/a/text()").toString());
        novel.put("collection_number", html.xpath("//*[@id=\"at\"]/tbody/tr[2]/td[1]/text()").toString());
        novel.put("total_words_number", html.xpath("//*[@id=\"at\"]/tbody/tr[2]/td[2]/text()").toString().replace("字", ""));
        novel.put("latest_updated_at", html.xpath("//*[@id=\"at\"]/tbody/tr[2]/td[3]/text()").toString());
        novel.put("total_click_number", html.xpath("//*[@id=\"at\"]/tbody/tr[3]/td[1]/text()").toString());
        novel.put("month_click_number", html.xpath("//*[@id=\"at\"]/tbody/tr[3]/td[2]/text()").toString());
        novel.put("week_click_number", html.xpath("//*[@id=\"at\"]/tbody/tr[3]/td[3]/text()").toString());
        novel.put("total_recommend_number", html.xpath("//*[@id=\"at\"]/tbody/tr[4]/td[1]/text()").toString());
        novel.put("month_recommend_number", html.xpath("//*[@id=\"at\"]/tbody/tr[4]/td[2]/text()").toString());
        novel.put("week_recommend_number", html.xpath("//*[@id=\"at\"]/tbody/tr[4]/td[3]/text()").toString());

        page.putField("type", "summary");
        page.putField("novel", novel);
    }

    /**
     * 处理目录页面
     *
     * @param page
     */
    public void processCatelogPage(Page page) {
        page.putField("type", "catelog");
        page.addTargetRequests(page.getHtml().xpath("//table[@id='at']").links().all());
    }

    /**
     * 处理章节页面
     *
     * @param page
     */
    public void processChapterPage(Page page) {
        page.putField("type", "chapter");
        page.putField("title", page.getHtml().xpath("//h1/text()").toString());
        page.putField("content", page.getHtml().xpath("//dd[@id='contents']/text()").toString());
    }
}

site 是小说站点的配置信息，设置了 Header 头信息、重试次数、睡眠时间。

process 方法中通过页面url判断当前是哪个页面，并使用对应的方法提取页面数据。

processCategoryPage、processCatelogPage 方法用于发现新链接。

processSummaryPage、processChapterPage 方法用于提取小说数据。

在页面数据提取的时候，大量使用了 XPath 和正则，如果对 XPath 和正则有基础的话阅读代码会轻松很多。

推荐学习资料：

启动爬虫

public class Run {
    public static void main(String[] args) {
        Spider spider = Spider.create(new X23usPageProcessor());
        spider.addUrl("https://www.x23us.com/class/2_1.html");
        spider.addPipeline(new JsonFilePipeline());
        spider.thread(10).run();
    }
}

首先告诉爬虫需要用哪个 PageProcessor 处理页面，然后添加一个起始URL，再添加一个 Pipeline 处理结果，这里使用的是框架自带的 Pipeline，以 json 格式保存到文件，保存的文件就在 C:\data\webmagic 目录下面，然后使用 10 个线程启动爬虫。

如果你想将抓取到的数据存到数据库里面，就需要自己定义一个 Pipeline 了，详见官方文档：https://webmagic.io/docs/zh/posts/ch6-custom-componenet/pipeline.html

运行效果

在这里插入图片描述

在这里插入图片描述

小说信息：
在这里插入图片描述

章节内容：
在这里插入图片描述

epoll_wait()
关注
  • 3
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
基于 webmagic 的 Java 爬虫应用.zip
05-30
WebPorter可能是基于WebMagic构建的一个具体爬虫项目，可能包含了配置文件、核心业务代码、数据存储模块等。通过查看和学习这个项目的源码，你可以了解到如何将WebMagic应用于实际的爬虫工程，如何组织项目结构，...
八、学习爬虫框架WebMagic（四）---使用webmagic+Selenium爬取小说
panchang199266的博客
01-01 2467
一、案例说明   本案例以爬取某小说网站某本小说为例（PS：避免商业问题，这里不提小说网站名） 二、先期准备   关于 webmagic+Selenium 的相关依赖，参见 七、学习爬虫框架WebMagic（三）—webmagic+Selenium爬取动态页面 三、构建项目 （一）项目分析   在某小说网站找到一本小说的列表，如下：   根据页面，然后分析网页源码，可知在这个页面中，下一页的网址...
使用java+WebMagic实现小说爬取
Unitue_逆流
04-28 805
1、首先百度搜索webmagic网站，网址如下：https://github.com/code4craft/webmagic/releases/tag/WebMagic-0.7.3 2、接下来下载webmagic-0.7.3-all.tar.gz 压缩包解压 3、创建一个项目，在项目中创建一个lib文件夹，将WebMagic中的jar包复制到lib文件夹里面，选取所有的jar包（按下shif...
Java 使用WebMagic爬取网页（简单示例）
最新发布
m0_62902381的博客
05-20 1317
WebMagic是一个基于Java的开源网络爬虫框架，它提供了很多简单易用的API接口，可以帮助使用者快速构建出高效、可扩展的网络爬虫程序，WebMagic由四个组件(Downloader、PageProcessor、Scheduler、Pipeline)构成，核心代码非常简单，主要是将这些组件结合并完成多线程的任务WebMagic的结构分为。
基于webmagic框架爬取九九小说网小说资源
TQFtqf136的博客
07-23 1404
1.首先导入webmagic maven相关配置 目前我是在http://mvnrepository.com/ 官网上查询的最新的jar包 2.新建 JiujiuProcessor类实现PageProcessor接口，其中需要重写两个方法，getSite()和process(Page page)，其中主要是重写process(Page page)方法，主要代码如下 JiujiuPr...
WebMagic 链式爬取小说并下载至桌面
guohangfei001的博客
05-03 1083
一。上一篇文章爬取小说是简单的页面爬取，没有做到链式的爬取。感觉不爽，特意重新写了一个链式爬取的小程序参考实例：https://my.oschina.net/flashsword/blog/155961       爬取网站还是 http://www.freexs.org，       主体思路是：1.访问首页获得书籍的名称和链接，将链接a加入到 Scheduler  方法是：processBoo...
webmagic-core小说爬虫
qq_42892856的博客
01-03 412
【代码】webmagic-core小说爬虫。
webmagic和maven的配置及简单开始
weixin_30533797的博客
01-01 167
两个月前在班里分享的东西，看到默默地贴出来。。。 这里的前两步是平台的搭建，这些不仅使用于爬虫，以后的开发都是很常用的。 安装Maven 1、将apache-maven-3.2.3-bin.zip解压到你要安装MVN的位置（最好和Java同目录），记录位置路径 2、右击我的电脑-属性-高级系统属性-环境变量 ①检查是否有变量JAVA_HO...
Java爬虫框架之WebMagic的学习总结
积跬步，至千里。
10-08 2006
WebMagic是一个简单灵活的Java爬虫框架。基于WebMagic，可以快速开发出一个高效、易维护的爬虫。
Java爬虫—WebMagic
qq_52655865的博客
02-18 1738
WebMagic企业开发，比HttpClient和JSoup更方便WebMagic有DownLoad，PageProcessor，Schedule，Pipeline四大组件，并有Spider将他们组织起来，这四大组件对应就是爬虫的下载，处理，管理，持久化等功能。
java初级项目 小说_webmagic项目实战（爬小说网站）
weixin_42514432的博客
03-08 282
正常发货正版包邮java从入门到软件68.9元包邮(需用券)去购买 >项目背景小说网站优书网(http://yousuu.com/bookstore/)提供的小说查询功能不是很强大，很多高级查询功能都没有，比如想要查询出评分在8.0以上并且标签包含‘仙侠’、字数超过100万字的小说列表，查询结果按评分倒序排序。为了解决这个痛点，我们把所有小说数据(包含小说名称、评分、简介、作者等信息)爬到本...
java 小说爬虫
魑魅魍魉9527
07-21 784
【代码】java 小说爬虫。
如何用java中的webmagic爬取网页，快手前端面试经验
m0_60388419的博客
03-21 926
Downloader(页面下载)PageProcessor(页面分析及链接抽取)Scheduler(URL管理)Pipeline(后续处理和持久化)webmagic的用法其实很简单，复杂的部分webmagic都替我们封装好了，接下来开始我们爬虫历程。1.首先引入webmagic的依赖webmagic依赖开始0.6.10.6.10.6.13.3.1webmagic依赖结束2.创建PageProcessor，用来处理网页数据/***/.me()@Override。
手摸手学会使用webmagic爬虫框架
weixin_46684099的博客
11-22 2119
什么是webmagic webmagic是一个开源的Java垂直爬虫框架，目标是简化爬虫的开发流程，让开发者专注于逻辑功能的开发。webmagic的核心非常简单，但是覆盖爬虫的整个流程，也是很好的学习爬虫开发的材料。 webmagic的主要特色： 完全模块化的设计，强大的可扩展性。 核心简单但是涵盖爬虫的全部流程，灵活而强大，也是学习爬虫入门的好材料。 提供丰富的抽取页面API。 无配置，但是可通过POJO+注解形式实现一个爬虫。 支持多线程。 支持分布式。 支持爬取js动态渲染的页面。 无框架依赖，可以
java 小说TXT下载（小说爬虫）
魑魅魍魉9527
02-21 763
【代码】java 小说TXT下载（小说爬虫）
java爬虫爬取笔趣阁小说（一）
m0_54765221的博客
02-16 597
希望你看的时候，这个网站还在……
SpringBoot+WebMagic+Vue多数据源搭建一个小说网站（项目复盘）
sx1999aaa的博客
08-02 1011
经过一个多月的时间，终于把这个项目做完了，现在进行项目复盘。 项目框架：Springboot、webmagic、vue、quarzt、druid、mybatis-plus、dynamic 数据库：mysql 项目环境：jdk8，centos，docker 技术选型： 主体框架为SpringBoot由于SpringBoot内部集成了很多框架使用起来会简便不少 数据获取：使用java爬虫框架WebMagic，使用该框架只需要定制爬虫规则以及数据持久方式就能过使用了，不需要定制专用的请求 前端框架采用Vue，其
用java 写了一个网文小说爬虫小程序
mikeppq的博客
11-29 479
网文小说爬虫小程序
网络爬虫——WebMagic详解(一)
吴声子夜歌的博客
07-24 2240
Downloader、PageProcessor、Scheduler、Pipeline都是Spider的一个属性，这些属性是可以自由设置的，通过设置这个属性可以实现不同的功能。核心部分(webmagic-core)是一个精简的、模块化的爬虫实现，而扩展部分则包括一些便利的、实用性的功能。第一部分关于爬虫的配置，包括编码、抓取间隔、超时时间、重试次数等，也包括一些模拟的参数，例如User Agent、cookie，以及代理的设置，我们会在第4部分-“爬虫的配置”里进行介绍。爬虫的监控是0.5.0新增的功能。
webmagic垂直式爬虫
03-31
WebMagic是一款基于Java开发的垂直式爬虫框架，它采用了注解和面向对象的编程思想，具有强大的灵活性和可扩展性。WebMagic内置了一些常见的爬虫功能，例如页面解析、URL管理、数据持久化等，同时也支持自定义扩展和插件机制，可以根据自己的需求来定制开发。WebMagic还支持多线程、分布式等高级功能，可以轻松应对大规模数据爬取的需求。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值