爬虫框架scrapy - 豆瓣网上小说书单

我们可以利用Python库Requests，selenium，可能还要结合threading，multiprocessing来写爬虫，多数情况是满足需求的。但写多了，会发现其中的某些代码，或者组件是可以复用的。把这些代码抽取出来，形成模块，这就是简单的构架了。然后再规范化，慢慢就形成框架了。

框架的好处是我们不用太关心具体功能的实现，只关注功能的逻辑。有了框架，可以简化代码量，提高工作效率。

这里就不写Scrapy的安装了，网上找一下，非常多。

下面开始Scrapy的尝试

一、创建工程

scrapy startproject doubanxs

二、框架结构

详单说一下各文件的作用。

spiders文件夹：存放爬虫文件

items.py：定义[需要的]数据

pipeline.py：处理从spider返回的Item数据，比如清洗HTML源码、验证、去重、存储等

middlewares.py：中间件

settings.py：全局设置，比如USER_AGENT，DEFAULT_REQUEST_HEADERS

三、编写spider

在spiders文件夹里创建doubanSpider.py文件，其中代码如下：

# -*- coding: utf-8 -*-

import scrapy

class DoubanSpider(scrapy.Spider):
    name = "doubanxs" # 爬虫名字，
    allowed_domains = ["book.douban.com"] # 允许爬取的域名列表
    start_urls = ['https://book.douban.com/tag/%E5%B0%8F%E8%AF%B4'] # 用于爬取的URL列表，可以存放多个URL
    
    # 定义好上面的变量，开始爬取的时候，spider会把爬取的页面源码返回到parse()函数里处理.
    def parse(self, response):
        #print(response.body) # 打印页面源码。如果想以爬虫的视角来看源码的话，可以scrapy shell url命令，然后再view(response)
        #我们借助firefox浏览器来查找要获取的数据，这里用xpath来查找节点
        #print(response.url) # 打印当前请求的URL
        book_lists = response.xpath('//div[@id="subject_list"]/ul/li')
        for i in range(len(book_lists)):
            # 书名。replace()用来去除数据里的换行和空格
            name = book_lists[i].xpath('div[2]/h2/a/text()').extract_first().replace('\n','').replace(' ','') 
            # 作者
            author = book_lists[i].xpath('div[2]/div[1]/text()').extract_first().replace('\n','').replace(' ','') 
            print(name,' == ',author)

四、执行spider

在scrapy.cfg的目录里执行 scrapy crawl doubanxs

得到一个403的响应，说明爬虫被网站屏蔽了。修改settings.py文件，增加模拟浏览器功能。

打开settings.py文件，添加如下代码：

USER_AGENT = 'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:61.0) Gecko/20100101 Firefox/61.0'

DEFAULT_REQUEST_HEADERS = { # 这里内容请在浏览器的开发者工具 > 网络 里查看
   'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8',
   'Accept-Language': 'zh-CN,zh;q=0.8,zh-TW;q=0.7,zh-HK;q=0.5,en-US;q=0.3,en;q=0.2',
}

然后再执行 scrapy crawl doubanxs 就能得到数据了。

五、多页（下一页）

通过firefox的开发者工具找到【后页】的链接，然后交给spider去处理就好了。

增加多页处理后的代码如下：

# -*- coding: utf-8 -*-

import scrapy

class DoubanSpider(scrapy.Spider):
    name = "doubanxs" # 爬虫名字，
    allowed_domains = ["book.douban.com"] # 允许爬取的域名列表
    start_urls = ['https://book.douban.com/tag/%E5%B0%8F%E8%AF%B4'] # 用于爬取的URL列表，可以存放多个URL
    
    # 定义好上面的变量，开始爬取的时候，spider会把爬取的页面源码返回到parse()函数里处理.
    def parse(self, response):
        #print(response.body) # 打印页面源码。如果想以爬虫的视角来看源码的话，可以scrapy shell url命令，然后再view(response)
        #我们借助firefox浏览器来查找要获取的数据，这里用xpath来查找节点
        #print(response.url) # 打印当前请求的URL
        book_lists = response.xpath('//div[@id="subject_list"]/ul/li')
        for i in range(len(book_lists)):
            # 书名。replace()用来去除数据里的换行和空格
            name = book_lists[i].xpath('div[2]/h2/a/text()').extract_first().replace('\n','').replace(' ','') 
            # 作者
            author = book_lists[i].xpath('div[2]/div[1]/text()').extract_first().replace('\n','').replace(' ','') 
            print(name,' == ',author)

            next_url = response.xpath('//div[@class="paginator"]/span[last()]/a/@href').extract_first() # 下一页的链接
            if next_url is not None: # 判断一下
                next_url = 'https://book.douban.com'+next_url # 组装完整链接
                yield scrapy.Request(next_url, callback=self.parse) # 请求下一页后，返回parse()处理

一个简单的spider就完成了。