scrapy0,24文档解读之setting配置(一)

本文介绍了Scrapy的settings配置,强调了配置的优先级顺序,包括命令行选项、爬虫中设定、项目设定模块、命令默认设定和默认全局设定。讨论了如何访问设置以及一些关键配置,如并发请求、请求头、下载延迟和下载超时等,这些设置对爬虫行为有重要影响。
摘要由CSDN通过智能技术生成

想想就不从scrapy流程图去写了毕竟是记录,详细可读文档scrapy0.24中文文档
从学习的角度我认为从setting配置开始你会了解其他组件的功能以及设置,当然不涉及源码

首先了所谓的配置并不是只是写在setting这个文件里,同时在配置方法有优先级顺序:

  1. 命令行选项(Command line Options)(最高优先级)#终端设定

    ##可以使用command line 选项 -s (或 --set) 来覆盖一个(或更多)选项
    #scrapy crawl myspider -s LOG_FILE=scrapy.log#设置log
    
  2. 爬虫中设定
    #使用属性custom_settings覆盖项目的

    class DemoSpider(scrapy.Spider) :
        name = 'demo'
    
        custom_settings = {
            'SOME_SETTING': 'some value',
        }
  3. 项目设定模块(Project settings module)#就是setting文件
    获取通过:项目名.settings

  4. 命令默认设定(Default settings per-command)#自定义配置

    from scrapy.commands import ScrapyCommand
    class Command(ScrapyCommand):
        default_settings = {
        'LOG_ENABLED': False}
        def run(self, args, opts):
            print("hello")
  5. 默认全局设定(Default global settings)#导模块设置
    scrapy.settings.default_settings

如何访问设定:
1.爬虫中通过爬虫基类的属性setting就可以、

class MySpider(scrapy.Spider)
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值