java爬虫案例——SpringBoot使用HttpClient、Jsoup爬取京东手机数据

最新推荐文章于 2023-12-29 10:31:10 发布

原创

最新推荐文章于 2023-12-29 10:31:10 发布 · 1.3k 阅读

13 ·

CC 4.0 BY-SA版权

文章标签：

#java #spring boot #HttpClient #Jsoup

本文介绍了使用Java的SpringBoot框架，结合HttpClient和Jsoup库来爬取京东手机数据的完整过程。从项目准备工作，包括数据库建表，到配置文件、pojo类、dao接口、service接口及其实现、HttpClient工具类的编写，再到爬取任务的实现和启动类的创建，最后展示了项目执行后的效果，包括爬取到的图片和数据库存储的记录。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

前言

之前同事分享了一些关于Java爬虫的视频，其中有一个是用HttpClient及Jsoup爬取京东上的一些手机数据（如图片、标题、sku、spu等），同时参考几篇博客后基本实现目标，在此篇做个简单记录。

一、准备工作

由于需要将爬取到的数据的数据存储到数据库表中，因此需要建库建表。建库建表SQL如下：

DROP DATABASE IF EXISTS `crawler`;
CREATE DATABASE IF NOT EXISTS `crawler` DEFAULT CHARSET = `utf8`;
USE `crawler`;

SET FOREIGN_KEY_CHECKS = 0;

DROP TABLE IF EXISTS `jd_item`;
CREATE TABLE `jd_item` (
 `id` bigint(10) NOT NULL AUTO_INCREMENT COMMENT '主键id',
 `spu` bigint(15) DEFAULT NULL COMMENT '商品集合id',
 `sku` bigint(15) DEFAULT NULL COMMENT '商品最小品类单元id',
 `title` varchar(100) DEFAULT NULL COMMENT '商品标题',
 `price` bigint(10) DEFAULT NULL COMMENT '商品价格',
 `pic` varchar(200) DEFAULT NULL COMMENT '商品图片',
 `url` varchar(200) DEFAULT NULL COMMENT '商品详情地址',
 `created` datetime DEFAULT NULL COMMENT '创建时间',
 `updated` datetime DEFAULT NULL COMMENT '更新时间',
 PRIMARY KEY (`id`),
 KEY `sku` (`sku`) USING BTREE 
) ENGINE = InnoDB AUTO_INCREMENT=1 DEFAULT CHARSET = utf8 COMMENT =  '京东商品表';

二、项目文件

1.项目依赖

pom.xml：

<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0"
         xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
         xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
    <modelVersion>4.0.0</modelVersion>
    <parent>
        <artifactId>spring-boot-starter-parent</artifactId>
        <groupId>org.springframework.boot</groupId>
        <version>2.3.4.RELEASE</version>
    </parent>
    <groupId>cn.mlnt</groupId>
    <artifactId>mlnt-crawler-jd</artifactId>
    <version>1.0-SNAPSHOT</version>

    <dependencies>
        <!--SpringMVC-->
        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-web</artifactId>
        </dependency>
        <!--SpringData Jpa-->
        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-data-jpa</artifactId>
        </dependency>
        <!--MySQL连接包-->
        <dependency>
            <groupId>mysql</groupId>
            <artifactId>mysql-connector-java</artifactId>
            <version>8.0.21</version>
        </dependency>
        <!--HttpClient-->
        <dependency>
            <groupId>org.apache.httpcomponents</groupId>
            <artifactId>httpclient</artifactId>
        </dependency>
        <!--Jsoup-->
        <dependency>
            <groupId>org.jsoup</groupId>
            <artifactId>jsoup</artifactId>
            <version>1.13.1</version>
        </dependency>
        <!--工具包-->
        <dependency>
            <groupId>org.apa