前提环境:WIN10, pycharm, redis, scrapy-redis
需求:抓取京东图书信息
目标:使用 Scrapy_Redis 抓取京东图书的信息,有图书的大类别(b_category)、图书小类别的 url(s_href)、图书的小类别(s_cate)、图片(book_img)、书名(book_name)、作者(book_author)、出版社(book_press)、出版时间(book_publish_date)、价格(book_price)等
Step 1:创建爬虫 scrapy 项目
scrapy startproject JD # 创建
scrapy genspider jdbook jd.com # 生成
Step 2:jdbook.py 文件(主要爬虫)
# -*- coding: utf-8 -*-
import scrapy
from copy import deepcopy
import json
import urllib
class JdbookSpider(scrapy.Spider):
name = 'jdbook'
allowed_domains = ['jd.com', 'p.3.cn'