scrapy爬虫案例_「爬虫教程」第六章:Scrapy框架(上)

回顾一下写一个爬虫需要做的一些步骤,使用requests库发送网络请求、使用lxml等解析技术对数据进行解析、使用数据库等方法进行存储数据,另外还可以在请求网络的时候进行更换IP、设置请求头等。

每次爬虫都要干这么多活,如果每次都从零开始写则比较浪费时间,所以我们需要一个框架,这个框架帮我们把一些基本的爬虫前奏都准备好了,我们只需要“站在巨人的肩膀上”即可。而Scrapy 框架就是这个“巨人的肩膀”。

它的工作原理如下:

db8e232a0a6971e28c6f23efc12c6cc0.png

各模块功能如下:

  1. Engine(引擎): scrap框架的核心部分。负责每个模块之间的通信、传递数据等。
  2. spiders(爬虫):将需要爬取的链接发送引擎,最后引擎把其他模块请求回来的数据再发送回爬虫,然后爬虫就可以对数据进行解析。(这部分是开发者自己写的,因为要爬取哪些连接,解析哪些数据是我们自己决定的)
  3. Scheduler(调度器):负责接收引擎发送过来的请求,并按照一定的方式进行排列和整理,决定了链接爬取的顺序。
  4. Downloader(下载器):负责接收引擎传过来的下载请求,然后去网络上下载对应的数据再交还给引擎。
  5. Item Pipelines(管道):负责将spider(爬虫)传递过来的数据进行保存。具体保存的方式和位置,也是由开发者自行决定。
  6. Downloader Middlewares(下载中间件):处于引擎跟下载器中间,处理下载请求部分。如在此可以设置请求头、IP地址等。
  7. Spider Middlewares(爬虫中间件):处于爬虫跟引擎中间,处理解析部分。

各模块执行过程如下:

  1. 引擎打开一个网站,找到处理该网站的Spider并向该spider请求第一个要爬取的URL(s)。
  2. 引擎从Spider中获取到第一个要爬取的URL并在调度器(Scheduler)以Request调度。
  3. 引擎向调度器请求下一个要爬取的URL。
  4. 调度器返回下一个要爬取的URL给引擎,引擎将URL通过下载中间件(请求(request)方向)转发给下载器(Downloader)。
  5. 一旦页面下载完毕,下载器生成一个该页面的Response,并将其通过下载中间件(返回(response)方向)发送给引擎。
  6. 引擎从下载器中接收到Response并通过Spider中间件(输入方向)发送给Spider处理。
  7. Spider处理Response并返回爬取到的Item及(跟进的)新的Request给引擎。
  8. 引擎将(Spider返回的)爬取到的Item给Item Pipeline,将(Spider返回的)Request给调度器。

(从第二步)重复直到调度器中没有更多地request,引擎关闭该网站。

原理图及执行过程的描述参考于这篇文章:Scrapy架构图(工作原理)

如果觉得很不理解没关系,可以先往下学,之后再回过头来看这张图就会豁然开朗了。

6.1 快速入门

使用Scrapy之前需要先安装:pip install scrapy 。

如果在window系统下,还需安装一个东西:pip install pypiwin32

创建项目:

进入你想把此项目存放的目录,使用命令 scrapy startproject 项目名称 来创建项目。如 scrapy startproject scrapy_demo

用pycharm或其他编辑器打开该项目,项目结构如下:

38dd609a077f1d50a2554ef4a3aecc9a.png

主要文件的作用:

  1. items.py:用来存放爬虫爬取下来数据的模型,即要存储的各字段。
  2. middlewares.py:用来存放下载/爬虫中间件的文件。
  3. pipelines.py:用来将items.py中的模型进行持久化存储。
  4. settings.py:爬虫的一些配置信息(比如请求头、多久发送一次请求、IP代理池等许多设置)。
  5. scrap.cfg:项目的配置文件。
  6. spiders包:存放所有的爬虫文件。

以上步骤只是创建了项目,下一步还需要创建爬虫(我们在爬虫文件夹下进行写代码)

创建爬虫前需要先进入到刚才创建的项目中,然后通过命令 scrapy genspider 爬虫名字 要爬取网站的域名 。如scrapy genspider demo1 baidu.com 注意:爬虫名字不能跟项目名字重复。

此时,你会发现spiders文件夹下多了个demo1文件,内容如下:

95ee2478bae04381c393e011b15e86f5.png

allowed_domains是指以后所有的爬虫的链接都是在该域名下的,并不会说你要爬取百度的网址,却给你爬了个谷歌的网址。

stats_urls是指爬虫刚启动时是向该链接发送网络请求。

这些都创建好之后,就可以运行项目了,需要注意的是,在编辑器中是无法直接运行的,需要进入到爬虫文件夹下运行cmd命令 scrapy crwal 爬虫名字 运行项目。放心,以后在编辑器中有便捷方式来运行,现在先不介绍。

至此,一个scrapy就成功创建并运行起来了。来回顾一下刚才的操作:

  1. 创建项目:scrapy startproject 项目名字
  2. 创建爬虫:scrapy genspider 爬虫名字 爬取的域名 ,注意爬虫的名字不能与项目名字相同。
  3. 运行爬虫:scrapy crwal 爬虫名字

6.2 渐渐深入

pipelines.py文件函数:

__init__(self) 构造函数,创建pipelines时执行

open_spider(self,spider) spider(爬虫) 被打开时自动执行

process_item(self, item, spider)当爬虫有item传入时被调用

close_spider(self,spider) 当spider(爬虫)被关闭的时候执行

tips: 一般需要存储文件时在__init__(self)或者open_spider(self,spider) 中编写打开文件的操作或者链接数据库操作,在process_item(self, item, spider)中编写写入数据的操作,最后在close_spider(self,spider)中关闭文件或数据库

settings.py文件常用设置:

ROBOTSTXT_OBEY = True 是否遵循机器人协议,我们需要把它改成False
DEFAULT_REQUEST_HEADERS 设置请求头

DEFAULT_REQUEST_HEADERS = {  'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8',  'Accept-Language': 'en',  # 设置User-Agent  'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.102 Safari/537.36 Edge/18.18362'}

DOWNLOADER_MIDDLEWARES 开启下载中间件,例如我这里写了三个下载中间件,后面的数字越小表示优先级越高

DOWNLOADER_MIDDLEWARES = {    'scrapy_demo.middlewares.ScrapyDemoDownloaderMiddleware': 543,    'scrapy_demo.middlewares.UserAgentDownloadMiddleware': 500,    'scrapy_demo.middlewares.IPProxyDownloadMiddlleware': 400,}

SPIDER_MIDDLEWARES 爬虫中间件,用法同下载中间件。

ITEM_PIPELINES 开启下载项。

tips:以上的配置在settings文件中都是注释了的,我们再使用到相应功能的时候,要记得解除注释。

如何在编辑器中运行项目(怎么样才不用每次都去cmd那里运行项目):

在项目根目录中创建一个py文件,一般我喜欢命名为start.py。

内容为:

# 导入命令行from scrapy import cmdline# 使用命令行运行项目cmdline.execute("scrapy crawl 项目名".split())

每次要运行项目时运行此文件即可。

结合案例介绍文件:

以爬取糗事百科网站为例,假如本次案例我们需要爬取到糗事百科的段子跟作者,并把它保存为json文件。

首先创建好项目、爬虫,在根目录下创建start.py ,接着在settings文件夹下把协议变成False,设置请求头。

qsbk_spider.py 内容:

DOWNLOADER_MIDDLEWARES = {    'scrapy_demo.middlewares.ScrapyDemoDownloaderMiddleware': 543,    'scrapy_demo.middlewares.UserAgentDownloadMiddleware': 500,    'scrapy_demo.middlewares.IPProxyDownloadMiddlleware': 400,}

itmes.py 内容:

import scrapyclass QsbkItem(scrapy.Item):    # 在item模型中定义好要保存的数据    # 接收qsbk_spider传过来的参数    author = scrapy.Field()    text = scrapy.Field()

pipelines.py 内容:

import jsonclass QsbkPipeline(object):    def open_spider(self, spider):        self.fp = open('qsbk.json', 'a', encoding='utf-8')    def process_item(self, item, spider):        # 此时的item为QsbkItem类型,需要转成字典才可以变成json        text = json.dumps(dict(item), ensure_ascii=False)        self.fp.write(text + '')        return item    def close_spider(self, spider):        self.fp.close()

记得要在settings中打开pipelines。

小结:

  1. 爬虫第一步,对协议说“不”
  2. response 对象可以执行xpath、css语法来提取数据。
  3. 提取出来的数据类型可能是Selector或SelectorList ,如果想要获取其中的字符串或字符串列表,应该执行get或getall 方法
  4. 如果要将数据传给pipelines处理,可以使用yield
  5. yield 与return 是有区别的,读者可自行百度查阅资料。

原文链接:https://blog.csdn.net/weixin_43521592/java/article/details/106962079

表情包
插入表情
评论将由博主筛选后显示,对所有人可见 | 还能输入1000个字符
相关推荐
©️2020 CSDN 皮肤主题: 深蓝海洋 设计师:CSDN官方博客 返回首页