第三部分 替换默认下载器，使用selenium下载页面


对详情页稍加分析就可以得出：我们感兴趣的大部分信息都是由javascript动态生成的，因此需要先在浏览器中执行javascript代码，再从最终的页面上抓取信息（当然也有别的解决方案）。

scrapy 本身提供了 Middleware机制。利用Dowloader Middleware可以改变默认的request对象和reponse对象，甚至替换默认的下载器。(可以对比JavaEE中的Filter理解Middleware)


                                  scrapy 架构图

wKioL1SymB7gTOtlAAGOJAXp_yc559.jpg


由于middleware的配置比较复杂，在这里我们采用一个简单的方法：改用最简单的spider,在parse函数中用selenium下载详情页面。


  1. 改写CrawlSpider为默认Spider，在parse函数中获取详情页面的链接

 

# -*- coding: utf-8 -*-
import scrapy
from scrapy.contrib.linkextractors import LinkExtractor
from scrapy.contrib.spiders import CrawlSpider, Rule

from tmall.items import TmallItem


class TmallSpider(CrawlSpider):
    name = 'tmallSpider'
    start_urls = ['http://shanhuijj.tmall.com/search.htm?spm=a1z10.3-b.w4011-3112923129.1.KjGkS2/']

    rules = (
        Rule(LinkExtractor(allow=r'http://detail.tmall.com/item.htm\?id=\d+&rn=\w+&abbucket=\d+',
                           restrict_xpaths="//div[@class='J_TItems']/div/dl/dd[@class='detail']"),
             callback='parse_item', follow=False),
    )

    def parse(self, response):
       linkExtractor = LinkExtractor(allow=r'http://detail.tmall.com/item.htm\?id=\d+&rn=\w+&abbucket=\d+',
                           restrict_xpaths="//div[@class='J_TItems']/div/dl/dd[@class='detail']")
       linkList = linkExtractor.extract_links(response)
       for link in linkList:
           self.log("******************************************************")
           self.log(link.url)


2. 用firefox打开详情页面链接，获取页面源文件，查看得到的源文件是不是执行过js的“源文件”

def parse(self, response):
    linkExtractor = LinkExtractor(allow=r'http://detail.tmall.com/item.htm\?id=\d+&rn=\w+&abbucket=\d+',
                       restrict_xpaths="//div[@class='J_TItems']/div/dl/dd[@class='detail']")
    linkList = linkExtractor.extract_links(response)
    # open Firefox
    browser = webdriver.Firefox()
    file = open("C:\\pageSource.html", 'w'); flag = 0
    for link in linkList:
        browser.get(link.url)
        pageSource = browser.page_source
        if flag == 0:
            file.write(pageSource)
            file.close()
            flag = 1

    browser.close()

很不幸，试图写入文件时得到一个错误信息：

            file.write(pageSource)
        exceptions.UnicodeEncodeError: 'ascii' codec can't encode characters in position 8427-8443: ordinal not in range(128)

这是由于系统默认编码是ascii,python解释器试图将unicode编码的内容先转换成ascii编码再写入文件。

提前设置一下系统编码就可以解决这个问题。在文件头部加入：

import sys
reload(sys)
sys.setdefaultencoding('utf-8')

查看源文件发现，页面上信息还是不全，例如

wKioL1SzFlHw5fjqAAMiSueCQWM940.jpg

可以很高兴地看到，累计评价的信息已经有了（在最初的源文件中是没有的），但是月销量的数字还没显示出来。原因可能是我们通过brower.page_source请求源码的时候，js还没执行完。我们等浏览器10秒钟再试一下

for link in linkList:
    browser.get(link.url)
    time.sleep(10)  # wait for 10 seconds
    pageSource = browser.page_source
    if flag == 0:
        file.write(pageSource)
        file.close()
        flag = 1

此时再看得到的源文件，月销量的数据已经出现了

wKioL1SzGKzDb_D2AANGMbJOB6M132.jpg

实际上除了月成交记录的详情信息，其它数据都已经出现在了源码里。

月成交记录的详情信息是鼠标触发的一个ajax请求，后面我们会用scrapy模拟ajax请求，这样可以直接从response中得到json格式交易记录详情。

到目前为止， spider的代码如下：

# -*- coding: utf-8 -*-

import sys
reload(sys)
sys.setdefaultencoding('utf-8')

import scrapy
from scrapy.contrib.linkextractors import LinkExtractor
from scrapy.contrib.spiders import CrawlSpider, Rule
from selenium import webdriver
import  time
from tmall.items import TmallItem

class TmallSpider(CrawlSpider):
    name = 'tmallSpider'
    start_urls = ['http://shanhuijj.tmall.com/search.htm?spm=a1z10.3-b.w4011-3112923129.1.KjGkS2/']

    rules = (
        Rule(LinkExtractor(allow=r'http://detail.tmall.com/item.htm\?id=\d+&rn=\w+&abbucket=\d+',
                           restrict_xpaths="//div[@class='J_TItems']/div/dl/dd[@class='detail']"),
             callback='parse_item', follow=False),
    )

    def parse(self, response):
        linkExtractor = LinkExtractor(allow=r'http://detail.tmall.com/item.htm\?id=\d+&rn=\w+&abbucket=\d+',
                           restrict_xpaths="//div[@class='J_TItems']/div/dl/dd[@class='detail']")
        linkList = linkExtractor.extract_links(response)
        # open Firefox
        browser = webdriver.Firefox()
        file = open("C:\\pageSource.html", 'wb'); flag = 0
        for link in linkList:
            browser.get(link.url)
            time.sleep(10)
            pageSource = browser.page_source
            if flag == 0:
                file.write(pageSource)
                file.close()
                flag = 1

        browser.close()