18-爬虫之scrapy框架请求传参实现的深度爬取（全站爬取）05

请求传参实现的深度爬取

• 深度爬取：爬取的数据没有在同一张页面中（首页数据+详情页数据）
• 在scrapy中如果没有请求传参我们是无法进行持久化存储数据的
• 实现方式：
  • scrapy.Request(url,callback,meta)
  • meta是一个字典，可以将meta传递给callback
  • callback取出meta：
    • response.meta

创建一个爬虫工程：scrapy startproject proName
进入工程目录创建爬虫源文件：scrapy genspider spiderName www.xxx.com
执行工程：scrapy crawl spiderName

爬虫源文件

import scrapy
from middlePro.items import MiddleproItem

class MiddleSpider(scrapy.Spider):
    name = 'middle'
    #allowed_domains = ['www.xxx.com']
    start_urls = ['http://www.4567kan.com/index.php/vod/show/id/5.html']

    #定义一个通用url模板
    url = 'http://www.4567kan.com/index.php/vod/show/id/5/page/%d.html'
    pageNum = 2

    def parse(self, response):
        li_list = response.xpath('/html/body/div[1]/div/div/div/div[2]/ul/li')
        for li in li_list:
            title = li.xpath('./div/a/@title').extract_first()
            detail_url = 'http://www.4567kan.com'+li.xpath('./div/a/@href').extract_first()

            item = MiddleproItem()#实例化一个item对象对解析到的数据进行存储
            item['title'] = title

            # 对详情页url发起请求
            yield scrapy.Request(url=detail_url,callback=self.parse_detail,meta={'item':item}) #meta作用，可以将一个meta字典传递给callback

        if self.pageNum < 5:#爬取到第4页停止请求
            new_url = format(self.url%self.pageNum)
            self.pageNum += 1
            yield scrapy.Request(url=new_url,callback=self.parse) #请求传参

    # 此方法被作用到详情页的数据
    def parse_detail(self,response):
        item = response.meta['item'] # 接受传递过来的meta
        desc = response.xpath('/html/body/div[1]/div/div/div/div[2]/p[5]/span[2]').extract_first()
        item['desc'] = desc
        yield item