Scrapy框架介绍
写一个爬虫，需要做很多的事情。比如：发送网络请求、数据解析、数据存储、反反爬虫机制（更换ip代理、设置请求头等）、异步请求等。这些工作如果每次都要自己从零开始写的话，比较浪费时间。因此Scrapy把一些基础的东西封装好了，在他上面写爬虫可以变的更加的高效（爬取效率和开发效率）。因此真正在公司里，一些上了量的爬虫，都是使用Scrapy框架来解决。
Scrapy架构图：
Scrapy框架模块功能：
- Scrapy Engine（引擎）：Scrapy框架的核心部分。负责在Spider和ItemPipeline、Downloader、Scheduler中间通信、传递数据等。
- Spider（爬虫）：发送需要爬取的链接给引擎，最后引擎把其他模块请求回来的数据再发送给爬虫，爬虫就去解析想要的数据。这个部分是我们开发者自己写的，因为要爬取哪些链接，页面中的哪些数据是我们需要的，都是由程序员自己决定。
- Scheduler（调度器）：负责接收引擎发送过来的请求，并按照一定的方式进行排列和整理，负责调度请求的顺序等。
- Downloader（下载器）：负责接收引擎传过来的下载请求，然后去网络上下载对应的数据再交还给引擎。
- Item Pipeline（管道）：负责将Spider（爬虫）传递过来的数据进行保存。具体保存在哪里，应该看开发者自己的需求。
- Downloader Middlewares（下载中间件）：可以扩展下载器和引擎之间通信功能的中间件。
- Spider Middlewares（Spider中间件）：可以扩展引擎和爬虫之间通信功能的中间件。
安装和文档：
- 安装：通过pip install scrapy即可安装。
- Scrapy官方文档
- Scrapy中文文档
注意：如果在windows系统下，提示这个错误ModuleNotFoundError: No module named ‘win32api’，那么使用以下命令可以解决：pip install pypiwin32。
快速入门：
创建项目：
要使用Scrapy框架创建项目，需要通过命令来创建。首先进入到你想把这个项目存放的目录。然后使用以下命令创建：
#scrapy startproject [项目名称]
qs>scrapy startproject qss
目录结构介绍：
以下介绍下主要文件的作用：
- items.py：用来存放爬虫爬取下来数据的模型。
- middlewares.py：用来存放各种中间件的文件。
- pipelines.py：用来将items的模型存储到本地磁盘中。
- settings.py：本爬虫的一些配置信息（比如请求头、多久发送一次请求、ip代理池等）。
- scrapy.cfg：项目的配置文件。
- spiders包：以后所有的爬虫，都是存放到这个里面。
定义Item
Item 是保存爬取到的数据的容器；其使用方法和python字典类似， 并且提供了额外保护机制来避免拼写错误导致的未定义字段错误。
我们需要从dmo中获取名字，url，以及网站的描述。 对此，在item中定义相应的字段。编辑目录中的 items.py文件:
import scrapy
class DmozItem(scrapy.Item):
title = scrapy.Field()
link = scrapy.Field()
desc = scrapy.Field()
一开始这看起来可能有点复杂，但是通过定义item， 您可以很方便的使用Scrapy的其他方法。而这些方法需要知道您的item的定义。
使用Scrapy框架爬取糗事百科段子：
1. 使用命令创建一个爬虫：
scrapy genspider qsbk "qiushibaike.com"
创建了一个名字叫做qsbk的爬虫，并且能爬取的网页只会限制在qiushibaike.com这个域名下。
创建项目和爬虫：
- 创建项目：
scrapy startproject [爬虫的名字]。- 创建爬虫：进入到项目所在的路径，执行命令：
scrapy genspider [爬虫名字] [爬虫的域名]。注意，爬虫名字不能和项目名称一致。
爬虫代码解析：
#qsbk.py
# -*- coding: utf-8 -*-
import scrapy
class QsbkSpider(scrapy.Spider):
name = 'qsbk'
allowed_domains = ['qiushibaike.com']
start_urls = ['http://qiushibaike.com/']
def parse(self, response):
pass
其实这些代码我们完全可以自己手动去写，而不用命令。只不过是不用命令，自己写这些代码比较麻烦。
要创建一个Spider，那么必须自定义一个类，继承自scrapy.Spider，然后在这个类中定义三个属性和一个方法。
name：这个爬虫的名字，名字必须是唯一的。allow_domains：允许的域名。爬虫只会爬取这个域名下的网页，其他不是这个域名下的网页会被自动忽略。start_urls：爬虫从这个变量中的url开始。parse：引擎会把下载器下载回来的数据扔给爬虫解析，爬虫再把数据传给这个parse方法。这个是个固定的写法。这个方法的作用有两个，第一个是提取想要的数据。第二个是生成下一个请求的url。
2. 修改settings.py代码：
在做一个爬虫之前，一定要记得修改setttings.py中的设置。两个地方是强烈建议设置的。
ROBOTSTXT_OBEY设置为False。默认是True。即遵守机器协议，那么在爬虫的时候，scrapy首先去找robots.txt文件，如果没有找到。则直接停止爬取。DEFAULT_REQUEST_HEADERS添加User-Agent。这个也是告诉服务器，我这个请求是一个正常的请求，不是一个爬虫。
3. 完成的爬虫代码：
-
爬虫部分代码：
import scrapy #导入模块 from abcspider.items import QsbkItem class QsbkSpider(scrapy.Spider): name = 'qsbk' allowed_domains = ['qiushibaike.com'] start_urls = ['https://www.qiushibaike.com/text/'] def parse(self, response): outerbox = response.xpath("//div[@id='content-left']/div") items = [] for box in outerbox: author = box.xpath(".//div[contains(@class,'author')]//h2/text()").extract_first().strip() content = box.xpath(".//div[@class='content']/span/text()").extract_first().strip() item = QsbkItem() item["author"] = author item["content"] = content items.append(item) return items -
定义Item,items.py部分代码：
Item 是保存爬取到的数据的容器；其使用方法和python字典类似， 并且提供了额外保护机制来避免拼写错误导致的未定义字段错误。import scrapy class QsbkItem(scrapy.Item): author = scrapy.Field() content = scrapy.Field() -
pipeline部分代码：
import json
class AbcspiderPipeline(object):
def __init__(self):
self.items = []
def process_item(self, item, spider):
#将item转化为字典格式的
self.items.append(dict(item))
print("="*40)
return item
def close_spider(self,spider):
with open('qsbk.json','w',encoding='utf-8') as fp:
运行scrapy项目：
运行scrapy项目。需要在终端，进入项目所在的路径，然后scrapy crawl [爬虫名字]即可运行指定的爬虫。如果不想每次都在命令行中运行，那么可以把这个命令写在一个文件中。以后就在pycharm中执行运行这个文件就可以了。比如现在新创建一个文件叫做start.py，然后在这个文件中填入以下代码：
from scrapy import cmdline
cmdline.execute("scrapy crawl qsbk".split())
糗事百科Scrapy爬虫笔记：
- response是一个
scrapy.http.response.html.HtmlResponse对象。可以执行xpath和css语法来提取数据。 - 提取出来的数据，是一个
Selector或者是一个SelectorList对象。如果想要获取其中的字符串。那么应该执行getall或者get方法。 getall方法：获取Selector中的所有文本。返回的是一个列表。get方法：获取的是Selector中的第一个文本。返回的是一个str类型。- 如果数据解析回来，要传给pipline处理。那么可以使用
yield来返回。或者是收集所有的item。最后统一使用return返回。 - item：建议在
items.py中定义好模型。以后就不要使用字典。 - pipeline：这个是专门用来保存数据的。其中有三个方法是会经常用的。
open_spider(self,spider)：当爬虫被打开的时候执行。process_item(self,item,spider)：当爬虫有item传过来的时候会被调用。close_spider(self,spider)：当爬虫关闭的时候会被调用。
要激活piplilne，应该在settings.py中，设置ITEM_PIPELINES。示例如下：
ITEM_PIPELINES = { 'qsbk.pipelines.QsbkPipeline': 300, }
JsonItemExporter和JsonLinesItemExporter：
保存json数据的时候，可以使用这两个类，让操作变得得更简单。
JsonItemExporter：这个是每次把数据添加到内存中。最后统一写入到磁盘中。好处是，存储的数据是一个满足json规则的数据。坏处是如果数据量比较大，那么比较耗内存。示例代码如下：from scrapy.exporters import JsonItemExporter class QsbkPipeline(object): def __init__(self): self.fp = open("duanzi.json",'wb') self.exporter = JsonItemExporter(self.fp,ensure_ascii=False,encoding='utf-8') #开始 self.exporter.start_exporting() def open_spider(self,spider): print('爬虫开始了...') def process_item(self, item, spider): #导入 self.exporter.export_item(item) return item def close_spider(self,spider): #结束 self.exporter.finish_exporting() self.fp.close() print('爬虫结束了...')JsonLinesItemExporter：这个是每次调用export_item的时候就把这个item存储到硬盘中。坏处是每一个字典是一行，整个文件不是一个满足json格式的文件。好处是每次处理数据的时候就直接存储到了硬盘中，这样不会耗内存，数据也比较安全。示例代码如下：from scrapy.exporters import JsonLinesItemExporter class QsbkPipeline(object): def __init__(self): self.fp = open("duanzi.json",'wb') self.exporter = JsonLinesItemExporter(self.fp,ensure_ascii=False,encoding='utf-8') def open_spider(self,spider): print('爬虫开始了...') def process_item(self, item, spider): self.exporter.export_item(item) return item def close_spider(self,spider): self.fp.close() print('爬虫结束了...')
两者都是以二进制方式的写入wb
爬取多页面的数据
# -*- coding: utf-8 -*-
import scrapy
from qsbk.items import QsbkItem
from scrapy.http.response.html import HtmlResponse
from scrapy.selector.unified import SelectorList
class QsbkSpiderSpider(scrapy.Spider):
name = 'qsbk_spider'
allowed_domains = ['qiushibaike.com']
start_urls = ['https://www.qiushibaike.com/text/page/1/']
base_domain = "https://www.qiushibaike.com"
def parse(self, response):
# SelectorList
duanzidivs = response.xpath("//div[@id='content-left']/div")
for duanzidiv in duanzidivs:
# Selector
author = duanzidiv.xpath(".//h2/text()").get().strip()
content = duanzidiv.xpath(".//div[@class='content']//text()").getall()
content = "".join(content).strip()
item = QsbkItem(author=author,content=content)
yield item
next_url = response.xpath("//ul[@class='pagination']/li[last()]/a/@href").get()
if not next_url:
#URL 为空 退出函数
return
else:
yield scrapy.Request(self.base_domain+next_url,callback=self.parse)
#根据每页下面的跳转标签 匹配相应的url 进行下次的解析
next_url = response.xpath("//ul[@class='pagination']/li[last()]/a/@href").get()
scrapy.Request函数
class Request(object_ref):
def __init__(self, url, callback=None, method='GET', headers=None, body=None,
cookies=None, meta=None, encoding='utf-8', priority=0,
dont_filter=False, errback=None, flags=None, cb_kwargs=None):
#url：解析的url
#callback：回调函数
CrawlSpider
在上一个糗事百科的爬虫案例中。我们是自己在解析完整个页面后获取下一页的url，然后重新发送一个请求。有时候我们想要这样做，只要满足某个条件的url，都给我进行爬取。那么这时候我们就可以通过CrawlSpider来帮我们完成了。CrawlSpider继承自Spider，只不过是在之前的基础之上增加了新的功能，可以定义爬取的url的规则，以后scrapy碰到满足条件的url都进行爬取，而不用手动的yield Request。
CrawlSpider爬虫
创建CrawlSpider爬虫：
之前创建爬虫的方式是通过scrapy genspider [爬虫名字] [域名]的方式创建的。如果想要创建CrawlSpider爬虫，那么应该通过以下命令创建：
scrapy genspider -t crawl [爬虫名字] [域名]
scrapy genspider -t crawl wxapp 'wxapp-union.com'
LinkExtractors链接提取器
使用LinkExtractors可以不用程序员自己提取想要的url，然后发送请求。这些工作都可以交给LinkExtractors，他会在所有爬的页面中找到满足规则的url，实现自动的爬取。以下对LinkExtractors类做一个简单的介绍：
class scrapy.linkextractors.LinkExtractor(
allow = (),
deny = (),
allow_domains = (),
deny_domains = (),
deny_extensions = None,
restrict_xpaths = (),
tags = ('a','area'),
attrs = ('href'),
canonicalize = True,
unique = True,
process_value = None
)
主要参数讲解：
link_extractor：一个LinkExtractor对象，用于定义爬取规则。callback：满足这个规则的url，应该要执行哪个回调函数。因为CrawlSpider使用了parse作为回调函数，因此不要覆盖parse作为回调函数自己的回调函数。follow：指定根据该规则从response中提取的链接是否需要跟进。process_links：从link_extractor中获取到链接后会传递给这个函数，用来过滤不需要爬取的链接。
Rule规则类：
定义爬虫的规则类。以下对这个类做一个简单的介绍：
class scrapy.spiders.Rule(
link_extractor,
callback = None,
cb_kwargs = None,
follow = None,
process_links = None,
process_request = None
)
主要参数讲解：
link_extractor：一个LinkExtractor对象，用于定义爬取规则。callback：满足这个规则的url，应该要执行哪个回调函数。因为CrawlSpider使用了parse作为回调函数，因此不要覆盖parse作为回调函数自己的回调函数。follow：指定根据该规则从response中提取的链接是否需要跟进。process_links：从link_extractor中获取到链接后会传递给这个函数，用来过滤不需要爬取的链接。
#wxapp_spider.py
# -*- coding: utf-8 -*-
import scrapy
from scrapy.linkextractors import LinkExtractor
from scrapy.spiders import CrawlSpider, Rule
from wxapp.items import WxappItem
from scrapy.http.response.html import HtmlResponse
class WxappSpiderSpider(CrawlSpider):
name = 'wxapp_spider'
allowed_domains = ['wxapp-union.com']
start_urls = ['http://www.wxapp-union.com/portal.php?mod=list&catid=2&page=1']
rules = (
Rule(LinkExtractor(allow=r'.+mod=list&catid=2&page=\d'), follow=True),
Rule(LinkExtractor(allow=r".+article-.+\.html"),callback="parse_detail",follow=False)
)
def parse_detail(self, response):
title = response.xpath("//h1[@class='ph']/text()").get()
author_p = response.xpath("//p[@class='authors']")
author = author_p.xpath(".//a/text()").get()
pub_time = author_p.xpath(".//span/text()").get()
article_content = response.xpath("//td[@id='article_content']//text()").getall()
content = "".join(article_content).strip()
item = WxappItem(title=title,author=author,pub_time=pub_time,content=content)
yield item
扫一扫
308
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
