java爬虫案例——SpringBoot使用HttpClient、Jsoup爬取京东手机数据

---

前言

之前同事分享了一些关于Java爬虫的视频，其中有一个是用HttpClient及Jsoup爬取京东上的一些手机数据（如图片、标题、sku、spu等），同时参考几篇博客后基本实现目标，在此篇做个简单记录。

---

一、准备工作

由于需要将爬取到的数据的数据存储到数据库表中，因此需要建库建表。建库建表SQL如下：

DROP DATABASE IF EXISTS `crawler`;
CREATE DATABASE IF NOT EXISTS `crawler` DEFAULT CHARSET = `utf8`;
USE `crawler`;

SET FOREIGN_KEY_CHECKS = 0;

DROP TABLE IF EXISTS `jd_item`;
CREATE TABLE `jd_item` (
 `id` bigint(10) NOT NULL AUTO_INCREMENT COMMENT '主键id',
 `spu` bigint(15) DEFAULT NULL COMMENT '商品集合id',
 `sku` bigint(15) DEFAULT NULL COMMENT '商品最小品类单元id',
 `title` varchar(100) DEFAULT NULL COMMENT '商品标题',
 `price` bigint(10) DEFAULT NULL COMMENT '商品价格',
 `pic` varchar(200) DEFAULT NULL COMMENT '商品图片',
 `url` varchar(200) DEFAULT NULL COMMENT '商品详情地址',
 `created` datetime DEFAULT NULL COMMENT '创建时间',
 `updated` datetime DEFAULT NULL COMMENT '更新时间',
 PRIMARY KEY (`id`),
 KEY `sku` (`sku`) USING BTREE 
) ENGINE = InnoDB AUTO_INCREMENT=1 DEFAULT CHARSET = utf8 COMMENT =  '京东商品表';

• 项目目录
  

二、项目文件

1.项目依赖

pom.xml：

<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0"
         xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
         xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
    <modelVersion>4.0.0</modelVersion>
    <parent>
        <artifactId>spring-boot-starter-parent</artifactId>
        <groupId>org.springframework.boot</groupId>
        <version>2.3.4.RELEASE</version>
    </parent>
    <groupId>cn.mlnt</groupId>
    <artifactId>mlnt-crawler-jd</artifactId>
    <version>1.0-SNAPSHOT</version>

    <dependencies>
        <!--SpringMVC-->
        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-web</artifactId>
        </dependency>
        <!--SpringData Jpa-->
        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-data-jpa</artifactId>
        </dependency>
        <!--MySQL连接包-->
        <dependency>
            <groupId>mysql</groupId>
            <artifactId>mysql-connector-java</artifactId>
            <version>8.0.21</version>
        </dependency>
        <!--HttpClient-->
        <dependency>
            <groupId>org.apache.httpcomponents</groupId>
            <artifactId>httpclient</artifactId>
        </dependency>
        <!--Jsoup-->
        <dependency>
            <groupId>org.jsoup</groupId>
            <artifactId>jsoup</artifactId>
            <version>1.13.1</version>
        </dependency>
        <!--工具包-->
        <dependency>
            <groupId>org.apache.commons