scrapy源码剖析(scrapy.settings)

模块

  • 模块:scrapy.settings
  • 类:SettingsAttributes BaseSettings Settings

SettingsAttributes

  1. 表示一个基本的属性值,该值被赋予了优先级,使用set方法时,只有传入优先级高于单前属性值的优先级时才会被赋值。

BaseSettings

  • 关键attributes属性,是一个字典,存储每个name下的属性值(SettingsAttributes或BaseSettings),重写了以下方法,用于支持BaseSettings的各种操作,访问BaseSettings对象就好像访问attributes字典各个属性值一样。

    • __getitem__
    • __contains__ ( 支持 in self判断)
    • __delitem__
    • __iter__
    • __len__
  • 关键frozen变量,对BaseSettings的修改操作进行锁定,被锁定的对象进行修改的话会抛出异常,提供了freeze方法,使得锁定生效。

  • 关键操作方法,作为外部各种操作的接口

    • get特定类型数据
    • set \ setdict \ setmodule方法
    • update 增加dict value支持
    • delete

Settings

  • 继承自BaseSettings,初始化时加载默认配置,并且支持了配置文件中的dict属性,作为BaseSettings。使得scrapy加载配置时支持两层嵌套:
    1. key = value and value != dict (value = string|int|…)
    2. key = value and values = dict (dictvalue = string|int|…)

心得

  • 这个模块简直可以剥离出来,搞成一个通用的settings组件自己用。。
    • 支持优先级覆盖
    • 支持字典嵌套
    • 支持配置锁定
    • 通用settings对象方法

souce code

init.py”>https://github.com/chenxilinsidney/scrapy/blob/master/scrapy/settings/init.py

  • 1
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
### 回答1: 在 Scrapy 项目的 settings.py 文件中配置中间件的先后顺序为: 1. 先配置自定义中间件, 设置在 `DOWNLOADER_MIDDLEWARES` 和 `SPIDER_MIDDLEWARES` 中 2. 接着配置内置中间件 例如: ```python DOWNLOADER_MIDDLEWARES = { 'myproject.middlewares.MyCustomDownloaderMiddleware': 543, 'scrapy.downloadermiddlewares.httpauth.HttpAuthMiddleware': None, 'scrapy.downloadermiddlewares.downloadtimeout.DownloadTimeoutMiddleware': 350, 'scrapy.downloadermiddlewares.defaultheaders.DefaultHeadersMiddleware': 400, 'scrapy.downloadermiddlewares.useragent.UserAgentMiddleware': 500, 'scrapy.downloadermiddlewares.retry.RetryMiddleware': 550, 'scrapy.downloadermiddlewares.redirect.MetaRefreshMiddleware': 580, 'scrapy.downloadermiddlewares.httpcompression.HttpCompressionMiddleware': 590, 'scrapy.downloadermiddlewares.redirect.RedirectMiddleware': 600, 'scrapy.downloadermiddlewares.cookies.CookiesMiddleware': 700, 'scrapy.downloadermiddlewares.httpproxy.HttpProxyMiddleware': 750, 'scrapy.downloadermiddlewares.stats.DownloaderStats': 850, 'scrapy.downloadermiddlewares.httpcache.HttpCacheMiddleware': 900, } SPIDER_MIDDLEWARES = { 'myproject.middlewares.MyCustomSpiderMiddleware': 543, 'scrapy.spidermiddlewares.httperror.HttpErrorMiddleware': 50, 'scrapy.spidermiddlewares.offsite.OffsiteMiddleware': 500, 'scrapy.spidermiddlewares.referer.RefererMiddleware': 700, 'scrapy.spidermiddlewares.urllength.UrlLengthMiddleware': 800, 'scrapy.spidermiddlewares.depth.DepthMiddleware': 900, } ``` 这里你可以看到在自定义中间件之后是默认的中间件,而且在配置时也会有优先级这么一个概念,数字越小优先级越高。 ### 回答2: 在Scrapy项目的settings.py文件中,可以通过DOWNLOADER_MIDDLEWARES和SPIDER_MIDDLEWARES配置中间件的先后顺序。 DOWNLOADER_MIDDLEWARES是用于配置下载器中间件的,该中间件可以通过修改请求和响应来拦截和处理请求和响应。可以通过修改settings.py中的DOWNLOADER_MIDDLEWARES,设置列表中的元素来确定中间件的顺序。列表中的元素按照从高优先级到低优先级的顺序执行。可以通过修改元素的顺序来调整中间件的执行顺序。 SPIDER_MIDDLEWARES是用于配置爬虫中间件的,该中间件可以通过修改爬虫的输入和输出来拦截和处理爬虫的输入和输出数据。可以通过修改settings.py中的SPIDER_MIDDLEWARES,设置列表中的元素来确定中间件的顺序。列表中的元素按照从高优先级到低优先级的顺序执行。可以通过修改元素的顺序来调整中间件的执行顺序。 例如,如果想要在下载器中间件中添加一个自定义的中间件,并希望它在其他中间件之前执行,可以将其添加到DOWNLOADER_MIDDLEWARES列表中的第一个位置。如果想要在爬虫中间件中添加一个自定义的中间件,并希望它在其他中间件之后执行,可以将其添加到SPIDER_MIDDLEWARES列表中的最后一个位置。 通过调整中间件的先后顺序,可以灵活地处理请求和响应以及爬虫的输入和输出,实现特定的功能和逻辑。 ### 回答3: Scrapy是一个功能强大的Python爬虫框架,可以用于爬取和提取网页数据。在Scrapy中,中间件是一个流程处理器,可以对请求和响应进行预处理和后处理。通过在项目的settings.py文件中进行配置,可以控制中间件的先后顺序。 在settings.py文件中,有一个名为`DOWNLOADER_MIDDLEWARES`的配置项,它是一个字典,用于指定中间件及其优先级。 比如,我们可以将`DOWNLOADER_MIDDLEWARES`配置为: ```python DOWNLOADER_MIDDLEWARES = { 'myproject.middlewares.Middleware1': 543, 'myproject.middlewares.Middleware2': 544, 'myproject.middlewares.Middleware3': 545, } ``` 在这个例子中,`myproject.middlewares.Middleware1`是第一个中间件,优先级为543。`myproject.middlewares.Middleware2`是第二个中间件,优先级为544。`myproject.middlewares.Middleware3`是第三个中间件,优先级为545。 Scrapy会按照优先级来执行中间件,从而达到预期的处理顺序。较小的优先级值会被优先执行。在上面的例子中,Middleware1总是会被最先执行,然后是Middleware2,最后是Middleware3。 当然,也可以通过修改优先级值来调整中间件的执行顺序。较小的优先级值会被先执行,较大的优先级值会被后执行。 总结来说,通过在项目的settings.py文件中配置`DOWNLOADER_MIDDLEWARES`,可以调整Scrapy中间件的执行顺序,从而实现对请求和响应的定制化处理。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值