Scrapy读取设置文件(settings.py)

原文:https://blog.csdn.net/sinat_36899414/article/details/78076852

python 3.x

1、引入from scrapy.utils.project import get_project_settings

2、利用get_project_settings()读取settings.py中的属性

在middlewares.py文件中读取setting属性

from scrapy.utils.project import get_project_settings
class YourSpider(BaseSpider):
    def parse(self, response):
        settings = get_project_settings()
        print "Your USER_AGENT is:\n%s" % (settings.get('USER_AGENT'))
#USER_AGENT 在settings.py中定义好的
  • 0
    点赞
  • 4
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
### 回答1: 在 Scrapy 项目的 settings.py 文件配置间件的先后顺序为: 1. 先配置自定义间件, 设置在 `DOWNLOADER_MIDDLEWARES` 和 `SPIDER_MIDDLEWARES` 2. 接着配置内置间件 例如: ```python DOWNLOADER_MIDDLEWARES = { 'myproject.middlewares.MyCustomDownloaderMiddleware': 543, 'scrapy.downloadermiddlewares.httpauth.HttpAuthMiddleware': None, 'scrapy.downloadermiddlewares.downloadtimeout.DownloadTimeoutMiddleware': 350, 'scrapy.downloadermiddlewares.defaultheaders.DefaultHeadersMiddleware': 400, 'scrapy.downloadermiddlewares.useragent.UserAgentMiddleware': 500, 'scrapy.downloadermiddlewares.retry.RetryMiddleware': 550, 'scrapy.downloadermiddlewares.redirect.MetaRefreshMiddleware': 580, 'scrapy.downloadermiddlewares.httpcompression.HttpCompressionMiddleware': 590, 'scrapy.downloadermiddlewares.redirect.RedirectMiddleware': 600, 'scrapy.downloadermiddlewares.cookies.CookiesMiddleware': 700, 'scrapy.downloadermiddlewares.httpproxy.HttpProxyMiddleware': 750, 'scrapy.downloadermiddlewares.stats.DownloaderStats': 850, 'scrapy.downloadermiddlewares.httpcache.HttpCacheMiddleware': 900, } SPIDER_MIDDLEWARES = { 'myproject.middlewares.MyCustomSpiderMiddleware': 543, 'scrapy.spidermiddlewares.httperror.HttpErrorMiddleware': 50, 'scrapy.spidermiddlewares.offsite.OffsiteMiddleware': 500, 'scrapy.spidermiddlewares.referer.RefererMiddleware': 700, 'scrapy.spidermiddlewares.urllength.UrlLengthMiddleware': 800, 'scrapy.spidermiddlewares.depth.DepthMiddleware': 900, } ``` 这里你可以看到在自定义间件之后是默认的间件,而且在配置时也会有优先级这么一个概念,数字越小优先级越高。 ### 回答2: 在Scrapy项目的settings.py文件,可以通过DOWNLOADER_MIDDLEWARES和SPIDER_MIDDLEWARES配置间件的先后顺序。 DOWNLOADER_MIDDLEWARES是用于配置下载器间件的,该间件可以通过修改请求和响应来拦截和处理请求和响应。可以通过修改settings.py的DOWNLOADER_MIDDLEWARES,设置列表的元素来确定间件的顺序。列表的元素按照从高优先级到低优先级的顺序执行。可以通过修改元素的顺序来调整间件的执行顺序。 SPIDER_MIDDLEWARES是用于配置爬虫间件的,该间件可以通过修改爬虫的输入和输出来拦截和处理爬虫的输入和输出数据。可以通过修改settings.py的SPIDER_MIDDLEWARES,设置列表的元素来确定间件的顺序。列表的元素按照从高优先级到低优先级的顺序执行。可以通过修改元素的顺序来调整间件的执行顺序。 例如,如果想要在下载器间件添加一个自定义的间件,并希望它在其他间件之前执行,可以将其添加到DOWNLOADER_MIDDLEWARES列表的第一个位置。如果想要在爬虫间件添加一个自定义的间件,并希望它在其他间件之后执行,可以将其添加到SPIDER_MIDDLEWARES列表的最后一个位置。 通过调整间件的先后顺序,可以灵活地处理请求和响应以及爬虫的输入和输出,实现特定的功能和逻辑。 ### 回答3: Scrapy是一个功能强大的Python爬虫框架,可以用于爬取和提取网页数据。在Scrapy间件是一个流程处理器,可以对请求和响应进行预处理和后处理。通过在项目的settings.py文件进行配置,可以控制间件的先后顺序。 在settings.py文件,有一个名为`DOWNLOADER_MIDDLEWARES`的配置项,它是一个字典,用于指定间件及其优先级。 比如,我们可以将`DOWNLOADER_MIDDLEWARES`配置为: ```python DOWNLOADER_MIDDLEWARES = { 'myproject.middlewares.Middleware1': 543, 'myproject.middlewares.Middleware2': 544, 'myproject.middlewares.Middleware3': 545, } ``` 在这个例子,`myproject.middlewares.Middleware1`是第一个间件,优先级为543。`myproject.middlewares.Middleware2`是第二个间件,优先级为544。`myproject.middlewares.Middleware3`是第三个间件,优先级为545。 Scrapy会按照优先级来执行间件,从而达到预期的处理顺序。较小的优先级会被优先执行。在上面的例子,Middleware1总是会被最先执行,然后是Middleware2,最后是Middleware3。 当然,也可以通过修改优先级来调整间件的执行顺序。较小的优先级会被先执行,较大的优先级会被后执行。 总结来说,通过在项目的settings.py文件配置`DOWNLOADER_MIDDLEWARES`,可以调整Scrapy间件的执行顺序,从而实现对请求和响应的定制化处理。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值