使用scrapy-redis 爬取京东图书信息 （案例）

前提环境：WIN10,  pycharm,  redis,  scrapy-redis

需求：抓取京东图书信息

目标：使用 Scrapy_Redis 抓取京东图书的信息，有图书的大类别（b_category）、图书小类别的 url（s_href）、图书的小类别（s_cate）、图片（book_img）、书名（book_name）、作者（book_author）、出版社（book_press）、出版时间（book_publish_date）、价格（book_price）等

Step 1：创建爬虫 scrapy 项目

scrapy startproject JD  # 创建

scrapy genspider jdbook jd.com  # 生成

Step 2：jdbook.py 文件（主要爬虫）

# -*- coding: utf-8 -*-
import scrapy
from copy import deepcopy
import json
import urllib

class JdbookSpider(scrapy.Spider):
    name = 'jdbook'
    allowed_domains = ['jd.com', 'p.3.cn'