网络爬虫知识 day03

一、爬虫案例

1.1 需求分析

        访问京东，搜索手机，分析页面，抓取以下商品数据：

        商品图片、价格、标题、商品详情页

1.1.1 SPU和SKU

        除了以上四个属性以外，我们发现上图中的苹果手机有四种产品，我们应该每一种都要抓取。那么这里就必须要了解spu和sku的概念

        SPU = Standard Product Unit （标准产品单位）

        SPU是商品信息聚合的最小单位，是一组可复用、易检索的标准化信息的集合，该集合描述了一个产品的特性。通俗点讲，属性值、特性相同的商品就可以称为一个SPU。例如上图中的苹果手机就是SPU，包括红色、深灰色、金色、银色

        SKU=stock keeping unit(库存量单位)

        SKU即库存进出计量的单位， 可以是以件、盒、托盘等为单位。SKU是物理上不可分割的最小存货单元。在使用时要根据不同业态，不同管理模式来处理。在服装、鞋类商品中使用最多最普遍。例如上图中的苹果手机有几个款式，红色苹果手机，就是一个sku

        查看页面的源码也可以看出区别

        

1.2 开发准备

1.2.1 数据库表分析

根据需求分析，我们创建的表如下：

CREATE TABLE `jd_item` (

  `id` bigint(10) NOT NULL AUTO_INCREMENT COMMENT '主键id',

  `spu` bigint(15) DEFAULT NULL COMMENT '商品集合id',

  `sku` bigint(15) DEFAULT NULL COMMENT '商品最小品类单元id',

  `title` varchar(100) DEFAULT NULL COMMENT '商品标题',

  `price` bigint(10) DEFAULT NULL COMMENT '商品价格',

  `pic` varchar(200) DEFAULT NULL COMMENT '商品图片',

  `url` varchar(200) DEFAULT NULL COMMENT '商品详情地址',

  `created` datetime DEFAULT NULL COMMENT '创建时间',

  `updated` datetime DEFAULT NULL COMMENT '更新时间',

  PRIMARY KEY (`id`),

  KEY `sku` (`sku`) USING BTREE

) ENGINE=InnoDB AUTO_INCREMENT=1 DEFAULT CHARSET=utf8 COMMENT='京东商品表';

1.2.2 添加依赖

        使用Spring Boot+Spring Data JPA和定时任务进行开发，需要创建Maven工程并添加以下依赖：

<?xml version="1.0" encoding="UTF-8"?>

<project xmlns="http://maven.apache.org/POM/4.0.0"

         xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"

         xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">

    <modelVersion>4.0.0</modelVersion>

    <parent>

        <groupId>org.springframework.boot</groupId>

        <artifactId>spring-boot-starter-parent</artifactId>

        <version>2.0.2.RELEASE</version>

    </parent>

    <groupId>cn.itcast.crawler</groupId>

    <artifactId>itcast-crawler-jd</artifactId>

    <version>1.0-SNAPSHOT</version>

    <dependencies>

        <!--SpringMVC-->

        <dependency>

            <groupId>org.springframework.boot</groupId>

            <artifactId>spring-boot-starter-web</artifactId>

        </dependency>

        <!--SpringData Jpa-->

        <dependency>

            <groupId>org.springframework.boot</groupId>

            <artifactId>spring-boot-starter-data-jpa</artifactId>

        </dependency>

        <!--MySQL连接包-->

        <dependency>

            <groupId>mysql</groupId>

            <artifactId>mysql-connector-java</artifactId>

        </dependency>

        <!-- HttpClient -->

        <dependency>

            <groupId>org.apache.httpcomponents</groupId>

            <artifactId>httpclient</artifactId>

        </dependency>

        <!--Jsoup-->

        <dependency>

            <groupId>org.jsoup</groupId>

            <artifactId>jsoup</artifactId>

            <version>1.10.3</version>

        </dependency>

        <!--工具包-->

        <dependency>

            <groupId>org.apache.commons</groupId>

            <artifactId>commons-lang3</artifactId>

        </dependency>

    </dependencies>

</project>

1.2.3 添加配置文件

加入application.properties配置文件：        

#DB Configuration:

spring.datasource.driverClassName=com.mysql.jdbc.Driver

spring.datasource.url=jdbc:mysql://127.0.0.1:3306/crawler

spring.datasource.username=root

spring.datasource.password=root

#JPA Configuration:

spring.jpa.database=MySQL

spring.jpa.show-sql=true

1.2.4 代码实现

编写pojo

编写dao

public interface ItemDao extends JpaRepository<Item,Long> {

}

编写Service

ItemService接口：

public interface ItemService {

    //根据条件查询数据

    public List<Item> findAll(Item item);

    //保存数据

    public void save(Item item);

}

ItemServiceImpl实现类

编写引导类