[python爬虫]Scrapy入门使用教程

开发环境

python: 3.7
系统: windows10
编辑器: PyCharm Community

文档地址

• Scrapy官方文档：http://doc.scrapy.org/en/latest
• Scrapy中文文档：http://scrapy-chs.readthedocs.io/zh_CN/latest/index.html

Demo地址

https://gitee.com/fengzxia/python_crawler_learning/tree/master/scrapy/qiushibaike

安装

通过 pip install scrapy 即可快速安装

注意：

1. 在ubuntu上安装scrapy之前，需要先执行下边的命令安装依赖：

   sudo apt-get install python3-dev build-essential python3-pip libxml2-dev libxslt1-dev zlib1g-dev libffi-dev libssl-dev
   

   然后再通过 pip install scrapy 安装
2. 如果在windows系统下，提示这个错误ModuleNotFoundError: No module named 'win32api'，那么使用以下命令可以解决：pip install pypiwin32

快速入门

1. 创建项目

要使用Scrapy框架创建项目，需要通过命令来创建。首先进入到你想把这个项目存放的目录。然后使用以下命令创建：

scrapy startproject [项目名称]

2. 目录结构介绍

以下介绍主要文件的作用

1. items.py: 用来存放爬虫爬取下来数据的模型
2. middlewares.py: 用来存放各种中间件的文件
3. pipelines.py: 用来将items的模型存储到本地磁盘中
4. settings.py: 本爬虫的一些配置信息（比如请求头、多久发送一次请求、ip代理池等）
5. scrapy.cfg: 项目的配置文件
6. spiders包: 以后所有的爬虫，都是存放到这个里面

3. 使用Scrapy框架爬取糗事百科

1. 使用命令创建一个爬虫
   scrapy startproject qsbk
   创建了一个名叫qsbk的爬虫

2. 修改settings.py代码
   在做爬虫之前，一定要记得修改setting.py中的设置，下边有两个地方是强烈建议设置的
   1. ROBOTSTXT_OBEY: 设置为False。默认是True。即遵守机器协议，那么在爬虫的时候，scrapy首先去找robots.txt文件，如果没有找到。则直接停止爬取。
   2. USER_AGENT: 设置请求头，将爬虫伪装成正常请求，不设置直接请求会报错，错误信息如下

   2019-07-11 16:08:58 [scrapy.core.scraper] ERROR: Error downloading <GET https://www.qiushibaike.com/text/1>
   Traceback (most recent call last):
     File "C:\Users\fengz\AppData\Local\Programs\Python\Python37\lib\site-packages\scrapy\core\downloader\middleware.py", line 43, in process_request
       defer.returnValue((yield download_func(request=request,spider=spider)))
   twisted.web._newclient.ResponseNeverReceived: [<twisted.python.failure.Failure twisted.internet.error.ConnectionDone: Connection was closed cleanly.>]
   

4. 完整的爬虫代码

1. items.py 部分代码

   import scrapy
   
   class QsbkItem(scrapy.Item):
       author = scrapy.Field()
       content = scrapy.Field()
   

2. spiders包下新建一个爬虫脚本 qsbk_spider.py 代码如下

   import scrapy
   from qsbk.items import QsbkItem
   
   class QsbkSpider(scrapy.Spider):
       name = "qsbk"
       allowed_domains = ['qiushibaike.com']
       start_urls = ['https://www.qiushibaike.com/text/1']
   
       def parse(self, response):
           outerbox = response.xpath("//div[@id='content-left']/div")
           items = []
           for box in outerbox:
               author = str(box.xpath("div[@class='author clearfix']/a/h2/text()").extract_first()).strip()
               content = str(box.xpath("a/div[@class='content']/span/text()").extract_first()).strip()
               item = QsbkItem()
               item['author'] = author
               item['content'] = content
               items.append(item)
           return items
   

   这里也可以通过输入 scrapy genspider [爬虫名字] [域名] 在 spiders包下来生成爬虫相关代码：

   1. 通过命令生成爬虫代码

      scrapy genspider qsbk www.qiushibaike.com
      

   2. 生成的代码如下，然后再稍作修改

      import scrapy
      
      class Qsbk Spider(scrapy.Spider):
          name = 'qsbk '
          allowed_domains = ['www.qiushibaike.com']
          start_urls = ['http://www.qiushibaike.com/']
      
          def parse(self, response):
              pass
      

   • name: 这个爬虫的名字，名字必须是唯一的

   • allow_domains: 允许的域名。爬虫只会爬取这个域名下的网页，其他不是这个域名下的网页会被自动忽略

   • start_urls: 爬虫从这个变量中的url开始

   • parse方法: 引擎会把下载器下载回来的数据扔给爬虫解析，爬虫再把数据传给这个parse方法。这个是个固定的写法。这个方法的作用有两个，第一个是提取想要的数据。第二个是生成下一个请求的url

   • 这里使用的是xpath方式提取的数据

   • extract_first(): 获取通过xpath提取的第一条数据，还有 extract()、getall()、get()写法

     方法名	描述
     extract()	返回的是一个list，里面包含了多个string， 如果只有一个string，则返回[‘我很孤独’]这样的形式
     extract_first()	返回的是string，list里面第一个string
     getall()	同extract()一样返回的是list
     get()	同extract_first()一样返回的是string

   • strip(): 去除字符串中的空格

   • str(): 将内容转为 字符串 类型，因为有些时候 extract_first() 返回的类型不匹配，不能使用strip()

   Scrapy为QsbkSpider的 start_urls 属性中的每个URL创建了 scrapy.Request 对象，并将 parse 方法作为回调函数(callback)赋值给了Request。
   Request对象经过调度，执行生成 scrapy.http.Response 对象并送回给spider parse() 方法。

   提取数据

   Selectors选择器简介

   从网页中提取数据有很多方法。Scrapy使用了一种基于 XPath 和 CSS 表达式机制: Scrapy Selectors。 关于selector和其他提取机制的信息请参考 Selector文档

   这里给出XPath表达式的例子及对应的含义:

   • /html/head/title: 选择HTML文档中 <head> 标签内的 <title> 元素
   • /html/head/title/text(): 选择上面提到的 <title> 元素的文字
   • //td: 选择所有的 <td> 元素
   • //div[@class="mine"]: 选择所有具有 class="mine" 属性的 div 元素

   上边仅仅是几个简单的XPath例子，XPath实际上要比这远远强大的多。 如果您想了解的更多，我们推荐 这篇XPath教程 。

   为了配合XPath，Scrapy除了提供了 Selector 之外，还提供了方法来避免每次从response中提取数据时生成selector的麻烦。

   Selector有四个基本的方法(点击相应的方法可以看到详细的API文档):

   • xpath(): 传入xpath表达式，返回该表达式所对应的所有节点的selector list列表 。
   • css(): 传入CSS表达式，返回该表达式所对应的所有节点的selector list列表.
   • extract(): 序列化该节点为unicode字符串并返回list。
   • re(): 根据传入的正则表达式对数据进行提取，返回unicode字符串list列表。

   以上 Selectors选择器 内容摘抄自Scrapy中文文档

3. pipelines.py部分代码

   import json
   
   class QsbkPipeline(object):
       def __init__(self):
           self.items = []
   
       def process_item(self, item, spider):
           self.items.append(dict(item))
           print("=" * 40)
           return item
   
       def close_spider(self, spider):
           with open('qsbk.json', 'w', encoding='utf-8') as fp:
               json.dump(self.items, fp, ensure_ascii=False)
   

   • process_item: 每个item pipeline组件都需要调用该方法，这个方法必须返回一个 Item (或任何继承类)对象， 或是抛出 DropItem 异常，被丢弃的item将不会被之后的pipeline组件所处理。这里是将item数据存入items集合中
   • close_spider: 当spider被关闭时，这个方法被调用。这里是将items集合中的数据转为json字符串保存到 qsbk.json 文件中

   要想pipelines.py中的代码执行，必须在settings.py中设置ITEM_PIPELINES属性, 否则不会执行

   ITEM_PIPELINES = {
       'qsbk.pipelines.QsbkPipeline': 300,
   }
   

4. 运行scrapy项目
   运行scrapy项目。需要在终端，进入项目所在的路径，然后 scrapy crawl [爬虫名字] 即可运行指定的爬虫。如果不想每次都在命令行中运行，那么可以把这个命令写在一个文件中。以后就在pycharm中执行运行这个文件就可以了。比如现在新创建一个文件叫做 start.py，然后在这个文件中填入以下代码

   from scrapy import cmdline
   
   cmdline.execute('scrapy crawl qsbk'.split())