Java利用springboot+WebMagic爬取招聘网信息并保存到mysql案例_spring boot + mysql 抓取网页内容存数据库-CSDN博客

本文链接：https://blog.csdn.net/weixin_42038639/article/details/90306605

本文介绍了使用Java的SpringBoot框架结合WebMagic爬虫库，爬取招聘网站信息并存储到MySQL数据库的案例。详细讲述了WebMagic的组件构成，工程目录结构，环境配置，内容解析及自定义Pipeline来持久化数据的过程。

摘要由CSDN通过智能技术生成

Java利用springboot+WebMagic爬取招聘网信息并保存到mysql中案例

WebMagic 简介：

webmagic是一个开源的Java垂直爬虫框架，目标是简化爬虫的开发流程，让开发者专注于逻辑功能的开发。webmagic主要由Downloader（下载器）、PageProcesser（解析器）、Schedule（调度器）和Pipeline（管道）四部分组成。

该案例的工程目录结构：

其中MyTask实现PageProcesser接口爬取并解析内容，MyPipeLine实现Pipeline接口自定义管道将解析好的内容存入mysql数据库中

环境搭建：

pom.xml 中的核心依赖

		<!--SpringMVC-->
        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-web</artifactId>
        </dependency>

        <!--SpringData Jpa-->
        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-data-jpa</artifactId>
        </dependency>

        <!--MySQL连接包-->
        <dependency>
            <groupId>mysql</groupId>
            <artifactId>mysql-connector-java</artifactId>
        </dependency>

        <!--WebMagic核心包-->
        <dependency>
            <groupId>us.codecraft</groupId>
            <artifactId>webmagic-core</artifactId>
            <version>0.7.3</version>
            <exclusions>
                <exclusion>
                    <groupId>org.slf4j</groupId>
                    <artifactId>slf4j-log4j12</artifactId>
                </exclusion>
            </exclusions>
        </dependency>
        <!--WebMagic扩展-->
        <dependency>
            <groupId>us.codecraft</groupId>