scrapy常用settings.py内设置详情

最新推荐文章于 2024-01-24 17:28:23 发布
最新推荐文章于 2024-01-24 17:28:23 发布
阅读量1.1k 收藏 3
点赞数 1
分类专栏： Python爬虫 python编程 文章标签： 爬虫 Scrapy
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/yizhuanlu9607/article/details/88884065
版权

scrapy常用设置参考手册

 

内置设置参考

以下是所有可用Scrapy设置的列表，按字母顺序排列，以及它们的默认值和适用范围。

范围（如果可用）显示设置的使用位置，如果它与任何特定组件相关联。在那种情况下，将显示该组件的模块，通常是扩展，中间件或管道。它还意味着必须启用该组件才能使设置产生任何效果。

 

AWS_ACCESS_KEY_ID 

默认： None

需要访问Amazon Web服务的代码使用的AWS访问密钥，例如S3 Feed存储后端。

 

AWS_SECRET_ACCESS_KEY 

默认： None

需要访问Amazon Web服务的代码使用的AWS密钥，例如S3 Feed存储后端。

 

AWS_ENDPOINT_URL 

默认： None

用于类似S3的存储的端点URL，例如Minio或s3.scality。仅支持botocore库。

 

AWS_USE_SSL 

默认： None

如果要禁用SSL连接以与S3或类似S3的存储进行通信，请使用此选项。默认情况下，将使用SSL。仅支持botocore库。

 

AWS_VERIFY 

默认： None

验证Scrapy与S3或类似S3的存储之间的SSL连接。默认情况下，将进行SSL验证。仅支持botocore库。

 

AWS_REGION_NAME 

默认： None

与AWS客户端关联的区域的名称。仅支持botocore库。

 

BOT_NAME 

默认： 'scrapybot'

此Scrapy项目实现的机器人名称（也称为项目名称）。这将默认用于构建User-Agent，也用于日志记录。

使用该startproject命令创建项目时，它会自动填充项目名称。

 

CONCURRENT_ITEMS 

默认： 100

在项目处理器（也称为项目管道）中并行处理的最大并发项数（每个响应）。

 

CONCURRENT_REQUESTS 

默认： 16

Scrapy下载程序将执行的最大并发（即同时）请求数。

 

CONCURRENT_REQUESTS_PER_DOMAIN 

默认： 8

将对任何单个域执行的最大并发（即同时）请求数。

另请参阅：AutoThrottle扩展及其 AUTOTHROTTLE_TARGET_CONCURRENCY选项。

 

CONCURRENT_REQUESTS_PER_IP 

默认： 0

将对任何单个IP执行的最大并发（即同时）请求数。如果非零，CONCURRENT_REQUESTS_PER_DOMAIN则忽略该 设置，而使用此设置。换句话说，并发限制将应用于每个IP，而不是每个域。

此设置还会影响DOWNLOAD_DELAY和 AutoThrottle扩展：如果CONCURRENT_REQUESTS_PER_IP 非零，则按 IP而不是每个域强制执行下载延迟。

 

DEFAULT_ITEM_CLASS 

默认： 'scrapy.item.Item'

将用于实例化Scrapy shell中的项的默认类。

 

DEFAULT_REQUEST_HEADERS 

默认：

{
    'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8',
    'Accept-Language': 'en',
}

用于Scrapy HTTP请求的默认标头。他们居住在 DefaultHeadersMiddleware。

 

DEPTH_LIMIT 

默认： 0

范围： scrapy.spidermiddlewares.depth.DepthMiddleware

允许为任何站点爬网的最大深度。如果为零，则不会施加任何限制。

 

DEPTH_PRIORITY 

默认： 0

范围： scrapy.spidermiddlewares.depth.DepthMiddleware

一个整数，用于根据深度调整请求优先级：

  • 如果为零（默认），则不从深度进行优先级调整

  • 正值将降低优先级，即稍后将处理更高深度的请求 ; 这在进行广度优先爬网（BFO）时常用

  • 负值将增加优先级，即更快的深度请求将被更快地处理（DFO）

另请参阅：Scrapy是以广度优先还是深度优先顺序爬行？关于为BFO或DFO调整Scrapy。

注意

此设置调整优先级以相反的方式相对于其他优先级设置REDIRECT_PRIORITY_ADJUST和RETRY_PRIORITY_ADJUST。

 

DEPTH_STATS_VERBOSE 

默认： False

范围： scrapy.spidermiddlewares.depth.DepthMiddleware

是否收集详细的深度统计数据。如果启用此选项，则会在统计信息中收集每个深度的请求数。

 

DNSCACHE_ENABLED 

默认： True

是否启用DNS内存缓存。

 

DNSCACHE_SIZE 

默认： 10000

DNS内存缓存大小。

 

DNS_TIMEOUT 

默认： 60

在几秒钟内处理DNS查询的超时。支持浮动。

 

下载

默认： 'scrapy.core.downloader.Downloader'

用于抓取的下载程序。

 

DOWNLOADER_HTTPCLIENTFACTORY 

默认： 'scrapy.core.downloader.webclient.ScrapyHTTPClientFactory'

定义protocol.ClientFactory 用于HTTP / 1.0连接（for HTTP10DownloadHandler）的Twisted 类。

注意

HTTP / 1.0现在很少或使用，因此您可以放心地忽略此设置，除非你使用双绞线<11.1，如果你真的想使用HTTP / 1.0，并覆盖DOWNLOAD_HANDLERS_BASE了http(s)相应的方案，即'scrapy.core.downloader.handlers.http.HTTP10DownloadHandler'。

 

DOWNLOADER_CLIENTCONTEXTFACTORY 

默认： 'scrapy.core.downloader.contextfactory.ScrapyClientContextFactory'

表示要使用的ContextFactory的类路径。

这里，“ContextFactory”是SSL / TLS上下文的Twisted术语，定义了要使用的TLS / SSL协议版本，是否进行证书验证，甚至启用客户端身份验证（以及其他各种事情）。

注意

Scrapy默认上下文工厂不执行远程服务器证书验证。这通常适用于网页抓取。

如果确实需要启用远程服务器证书验证，Scrapy还有另一个可以设置的上下文工厂类'scrapy.core.downloader.contextfactory.BrowserLikeContextFactory'，它使用平台的证书来验证远程端点。 仅当您使用Twisted> = 14.0时才可用。

如果您确实使用自定义ContextFactory，请确保它method 在init 接受参数（这是OpenSSL.SSL方法映射 DOWNLOADER_CLIENT_TLS_METHOD）。

 

DOWNLOADER_CLIENT_TLS_METHOD 

默认： 'TLS'

使用此设置可自定义默认HTTP / 1.1下载程序使用的TLS / SSL方法。

此设置必须是以下字符串值之一：

  • 'TLS'：映射到OpenSSL TLS_method()（又名SSLv23_method()），它允许协议协商，从平台支持的最高点开始; 默认，推荐

  • 'TLSv1.0'：此值强制HTTPS连接使用TLS 1.0版; 如果你想要Scrapy的行为<1.1，请设置此项

  • 'TLSv1.1'：强制TLS版本1.1

  • 'TLSv1.2'：强制TLS版本1.2

  • 'SSLv3'：强制SSL版本3（不推荐）

注意

我们建议您使用PyOpenSSL> = 0.13和Twisted> = 0.13或更高（如果可以，Twisted> = 14.0）。

 

DOWNLOADER_MIDDLEWARES 

默认：： {}

包含项目中启用的下载器中间件及其订单的dict。有关更多信息，请参阅激活下载中间件。

 

DOWNLOADER_MIDDLEWARES_BASE 

默认：

{
    'scrapy.downloadermiddlewares.robotstxt.RobotsTxtMiddleware': 100,
    'scrapy.downloadermiddlewares.httpauth.HttpAuthMiddleware': 300,
    'scrapy.downloadermiddlewares.downloadtimeout.DownloadTimeoutMiddleware': 350,
    'scrapy.downloadermiddlewares.defaultheaders.DefaultHeadersMiddleware': 400,
    'scrapy.downloadermiddlewares.useragent.UserAgentMiddleware': 500,
    'scrapy.downloadermiddlewares.retry.RetryMiddleware': 550,
    'scrapy.downloadermiddlewares.ajaxcrawl.AjaxCrawlMiddleware': 560,
    'scrapy.downloadermiddlewares.redirect.MetaRefreshMiddleware': 580,
    'scrapy.downloadermiddlewares.httpcompression.HttpCompressionMiddleware': 590,
    'scrapy.downloadermiddlewares.redirect.RedirectMiddleware': 600,
    'scrapy.downloadermiddlewares.cookies.CookiesMiddleware': 700,
    'scrapy.downloadermiddlewares.httpproxy.HttpProxyMiddleware': 750,
    'scrapy.downloadermiddlewares.stats.DownloaderStats': 850,
    'scrapy.downloadermiddlewares.httpcache.HttpCacheMiddleware': 900,
}

包含Scrapy中默认启用的下载器中间件的dict。低订单更接近引擎，高订单更接近下载。您永远不应该在项目中修改此设置，DOWNLOADER_MIDDLEWARES而是修改 。有关更多信息，请参阅 激活下载中间件。

 

DOWNLOADER_STATS 

默认： True

是否启用下载程序统计信息收集。

 

DOWNLOAD_DELAY 

默认： 0

在从同一网站下载连续页面之前，下载程序应等待的时间（以秒为单位）。这可用于限制爬行速度，以避免过于严重地击中服务器。支持十进制数。例：

DOWNLOAD_DELAY = 0.25    # 250 ms of delay

此设置也受RANDOMIZE_DOWNLOAD_DELAY 设置（默认情况下启用）的影响。默认情况下，Scrapy不会在请求之间等待一段固定的时间，而是使用0.5 * DOWNLOAD_DELAY和1.5 * 之间的随机间隔DOWNLOAD_DELAY。

当CONCURRENT_REQUESTS_PER_IP非零时，每个IP地址而不是每个域强制执行延迟。

您还可以通过设置download_delay spider属性来更改每个蜘蛛的此设置。

 

DOWNLOAD_HANDLERS 

默认： {}

包含项目中启用的请求下载程序处理程序的dict。请参阅DOWNLOAD_HANDLERS_BASE格式。

 

DOWNLOAD_HANDLERS_BASE 

默认：

{
    'file': 'scrapy.core.downloader.handlers.file.FileDownloadHandler',
    'http': 'scrapy.core.downloader.handlers.http.HTTPDownloadHandler',
    'https': 'scrapy.core.downloader.handlers.http.HTTPDownloadHandler',
    's3': 'scrapy.core.downloader.handlers.s3.S3DownloadHandler',
    'ftp': 'scrapy.core.downloader.handlers.ftp.FTPDownloadHandler',
}

包含Scrapy中默认启用的请求下载处理程序的dict。您永远不应该在项目中修改此设置，DOWNLOAD_HANDLERS而是修改 。

您可以通过分配None其URI方案来禁用任何这些下载处理程序DOWNLOAD_HANDLERS。例如，要禁用内置的FTP处理程序（无需替换），请将其放在settings.py：

DOWNLOAD_HANDLERS = {
    'ftp': None,
}

 

DOWNLOAD_TIMEOUT 

默认： 180

下载程序在超时之前等待的时间（以秒为单位）。

注意

可以使用download_timeout spider属性为每个spider设置此超时，使用download_timeoutRequest.meta键为每个请求设置此超时。

 

DOWNLOAD_MAXSIZE 

默认值：1073741824（1024MB）

下载程序将下载的最大响应大小（以字节为单位）。

如果要禁用它，请将其设置为0。

注意

可以使用download_maxsize spider属性为每个蜘蛛设置此大小，使用download_maxsizeRequest.meta键为每个请求设置此大小。

此功能需要Twisted> = 11.1。

 

DOWNLOAD_WARNSIZE 

默认值：33554432（32MB）

下载程序将开始警告的响应大小（以字节为单位）。

如果要禁用它，请将其设置为0。

注意

可以使用download_warnsize spider属性为每个蜘蛛设置此大小，使用download_warnsizeRequest.meta键为每个请求设置此大小。

此功能需要Twisted> = 11.1。

 

DOWNLOAD_FAIL_ON_DATALOSS 

默认： True

是否在响应中断时失败，即声明 Content-Length与服务器发送的内容不匹配或者分块响应未正确完成。如果True，这些响应会引发 ResponseFailed([_DataLoss])错误。如果False，这些响应被传递并且标志dataloss被添加到响应中，即： 是。'dataloss' in response.flagsTrue

（可选）可以使用download_fail_on_datalossRequest.meta键为每个请求设置 False。

注意

在从服务器配置错误到网络错误再到数据损坏的几种情况下，可能会发生损坏的响应或数据丢失错误。由用户决定处理损坏的响应是否有意义，因为它们可能包含部分或不完整的内容。如果RETRY_ENABLED是，True并且此设置设置为True，ResponseFailed([_DataLoss])则将像往常一样重试失败。

 

DUPEFILTER_CLASS 

默认： 'scrapy.dupefilters.RFPDupeFilter'

用于检测和过滤重复请求的类。

默认（RFPDupeFilter）过滤器使用该scrapy.utils.request.request_fingerprint功能基于请求指纹。为了更改检查重复项的方式，您可以子类化RFPDupeFilter并覆盖其request_fingerprint方法。此方法应接受scrapy Request对象并返回其指纹（字符串）。

您可以通过设置DUPEFILTER_CLASS为禁用对重复请求的过滤 'scrapy.dupefilters.BaseDupeFilter'。但是要非常小心，因为你可以进入爬行循环。通常最好将dont_filter参数设置为不应过滤True的特定参数 Request。

 

DUPEFILTER_DEBUG 

默认： False

默认情况下，RFPDupeFilter仅记录第一个重复请求。设置DUPEFILTER_DEBUG为True将使其记录所有重复的请求。

 

编辑

默认值:( vi在Unix系统上）或IDLE编辑器（在Windows上）

用于使用edit命令编辑蜘蛛的编辑器。此外，如果EDITOR设置了环境变量，则edit 命令将优先于默认设置。

 

扩展

默认：： {}

包含项目中启用的扩展名及其订单的dict。

 

EXTENSIONS_BASE 

默认：

{
    'scrapy.extensions.corestats.CoreStats': 0,
    'scrapy.extensions.telnet.TelnetConsole': 0,
    'scrapy.extensions.memusage.MemoryUsage': 0,
    'scrapy.extensions.memdebug.MemoryDebugger': 0,
    'scrapy.extensions.closespider.CloseSpider': 0,
    'scrapy.extensions.feedexport.FeedExporter': 0,
    'scrapy.extensions.logstats.LogStats': 0,
    'scrapy.extensions.spiderstate.SpiderState': 0,
    'scrapy.extensions.throttle.AutoThrottle': 0,
}

包含Scrapy中默认可用扩展名的dict及其顺序。此设置包含所有稳定的内置扩展。请记住，其中一些需要通过设置启用。

有关详细信息，请参阅扩展程序用户指南 和可用扩展程序列表。

 

FEED_TEMPDIR 

Feed Temp dir允许您在使用FTP Feed存储和 Amazon S3上载之前设置自定义文件夹以保存搜寻器临时文件。

 

FTP_PASSIVE_MODE 

默认： True

在启动FTP传输时是否使用被动模式。

 

FTP_PASSWORD 

默认： "guest"

该密码才能使用FTP连接时，有没有"ftp_password" 在Request元。

注意

解释RFC 1635，虽然通常使用密码“guest”或匿名FTP的一个电子邮件地址，但某些FTP服务器明确要求用户的电子邮件地址，并且不允许使用“访客”密码登录。

 

FTP_USER 

默认： "anonymous"

用户名使用的FTP连接时，有没有"ftp_user" 在Request元。

 

ITEM_PIPELINES 

默认： {}

包含要使用的项目管道的dict及其命令。订单值是任意的，但通常在0-1000范围内定义它们。在更高订单之前降低订单处理。

例：

ITEM_PIPELINES = {
    'mybot.pipelines.validate.ValidateMyItem': 300,
    'mybot.pipelines.validate.StoreMyItem': 800,
}

 

ITEM_PIPELINES_BASE 

默认： {}

包含Scrapy中默认启用的管道的dict。您永远不应该在项目中修改此设置，ITEM_PIPELINES而是修改。

 

LOG_ENABLED 

默认： True

是否启用日志记录。

 

LOG_ENCODING 

默认： 'utf-8'

用于记录的编码。

 

LOG_FILE 

默认： None

用于记录输出的文件名。如果None，将使用标准错误。

 

LOG_FORMAT 

默认： '%(asctime)s [%(name)s] %(levelname)s: %(message)s'

用于格式化日志消息的字符串。有关可用占位符的完整列表，请参阅Python日志记录文档。

 

LOG_DATEFORMAT 

默认： '%Y-%m-%d %H:%M:%S'

用于格式化日期/时间的字符串，用于扩展%(asctime)s占位符LOG_FORMAT。有关可用指令的完整列表，请参阅Python datetime文档。

 

LOG_LEVEL 

默认： 'DEBUG'

记录的最低级别。可用级别包括：CRITICAL，ERROR，WARNING，INFO，DEBUG。有关更多信息，请参阅记录。

 

LOG_STDOUT 

默认： False

如果True，您的进程的所有标准输出（和错误）将重定向到日志。例如，如果print('hello')它将出现在Scrapy日志中。

 

LOG_SHORT_NAMES 

默认： False

如果True，日志将只包含根路径。如果设置为False 则显示负责日志输出的组件

 

MEMDEBUG_ENABLED 

默认： False

是否启用内存调试。

 

MEMDEBUG_NOTIFY 

默认： []

启用内存调试时，如果此设置不为空，则会将内存报告发送到指定的地址，否则报告将写入日志。

例：

MEMDEBUG_NOTIFY = ['user@example.com']

 

MEMUSAGE_ENABLED 

默认： True

范围： scrapy.extensions.memusage

是否启用内存使用扩展。此扩展程序跟踪进程使用的峰值内存（将其写入统计信息）。它还可以选择在超出内存限制时关闭Scrapy进程（请参阅参考资料MEMUSAGE_LIMIT_MB），并在发生时通过电子邮件通知（请参阅参考资料MEMUSAGE_NOTIFY_MAIL）。

请参阅内存使用扩展。

 

MEMUSAGE_LIMIT_MB 

默认： 0

范围： scrapy.extensions.memusage

关闭Scrapy之前允许的最大内存量（以兆字节为单位）（如果MEMUSAGE_ENABLED为True）。如果为零，则不执行检查。

请参阅内存使用扩展。

 

MEMUSAGE_CHECK_INTERVAL_SECONDS 

版本1.1中的新功能。

默认： 60.0

范围： scrapy.extensions.memusage

的内存使用扩展 会检查当前存储器使用，相对于限制由设置 MEMUSAGE_LIMIT_MB和MEMUSAGE_WARNING_MB，以固定时间间隔。

这将设置这些间隔的长度，以秒为单位。

请参阅内存使用扩展。

 

MEMUSAGE_NOTIFY_MAIL 

默认： False

范围： scrapy.extensions.memusage

如果已达到内存限制，则通知的电子邮件列表。

例：

MEMUSAGE_NOTIFY_MAIL = ['user@example.com']

请参阅内存使用扩展。

 

MEMUSAGE_WARNING_MB 

默认： 0

范围： scrapy.extensions.memusage

发送警告电子邮件通知之前允许的最大内存量（以兆字节为单位）。如果为零，则不会产生警告。

 

NEWSPIDER_MODULE 

默认： ''

使用该genspider命令模块在哪里创建新的蜘蛛。

例：

NEWSPIDER_MODULE = 'mybot.spiders_dev'

 

RANDOMIZE_DOWNLOAD_DELAY 

默认： True

如果启用，Scrapy将在从同一网站获取请求时等待一段随机时间（介于0.5 * DOWNLOAD_DELAY和1.5 *之间DOWNLOAD_DELAY）。

这种随机化降低了爬行程序被分析请求的站点检测（并随后被阻止）的机会，这些站点在其请求之间的时间内寻找统计上显着的相似性。

随机化策略与wget --random-wait选项使用的相同。

如果DOWNLOAD_DELAY为零（默认），则此选项无效。

 

REACTOR_THREADPOOL_MAXSIZE 

默认： 10

Twisted Reactor线程池大小的最大限制。这是各种Scrapy组件使用的常见多用途线程池。螺纹DNS解析器，BlockingFeedStorage，S3FilesStore仅举几例。如果遇到阻塞IO不足的问题，请增加此值。

 

REDIRECT_MAX_TIMES 

默认： 20

定义可以重定向请求的最大次数。在此最大值之后，请求的响应将按原样返回。我们使用Firefox默认值来执行相同的任务。

 

REDIRECT_PRIORITY_ADJUST 

默认： +2

范围： scrapy.downloadermiddlewares.redirect.RedirectMiddleware

相对于原始请求调整重定向请求优先级：

  • 正优先级调整（默认）意味着更高的优先级。

  • 负优先级调整意味着较低的优先级。

 

RETRY_PRIORITY_ADJUST 

默认： -1

范围： scrapy.downloadermiddlewares.retry.RetryMiddleware

相对于原始请求调整重试请求优先级：

  • 正优先级调整意味着更高的优先级。

  • 负优先级调整（默认）表示优先级较低。

 

ROBOTSTXT_OBEY 

默认： False

范围： scrapy.downloadermiddlewares.robotstxt

如果启用，Scrapy将尊重robots.txt政策。有关更多信息，请参阅 RobotsTxtMiddleware。

注意

虽然默认值是False出于历史原因，但默认情况下会在命令生成的settings.py文件中启用此选项。scrapy startproject

 

调度器

默认： 'scrapy.core.scheduler.Scheduler'

用于爬网的调度程序。

 

SCHEDULER_DEBUG 

默认： False

设置为True将记录有关请求调度程序的调试信息。如果请求无法序列化到磁盘，则此当前日志（仅一次）。Stats counter（scheduler/unserializable）跟踪发生这种情况的次数。

日志中的示例条目：

1956-01-31 00:00:00+0800 [scrapy.core.scheduler] ERROR: Unable to serialize request:
<GET http://example.com> - reason: cannot serialize <Request at 0x9a7c7ec>
(type Request)> - no more unserializable requests will be logged
(see 'scheduler/unserializable' stats counter)

 

SCHEDULER_DISK_QUEUE 

默认： 'scrapy.squeues.PickleLifoDiskQueue'

调度程序将使用的磁盘队列类型。其他可用的类型有scrapy.squeues.PickleFifoDiskQueue，scrapy.squeues.MarshalFifoDiskQueue，scrapy.squeues.MarshalLifoDiskQueue。

 

SCHEDULER_MEMORY_QUEUE 

默认： 'scrapy.squeues.LifoMemoryQueue'

调度程序使用的内存中队列的类型。其他可用的类型是： scrapy.squeues.FifoMemoryQueue。

 

SCHEDULER_PRIORITY_QUEUE 

默认： 'queuelib.PriorityQueue'

调度程序使用的优先级队列的类型。

 

SPIDER_CONTRACTS 

默认：： {}

包含项目中启用的蜘蛛合同的dict，用于测试蜘蛛。有关更多信息，请参阅蜘蛛合同。

 

SPIDER_CONTRACTS_BASE 

默认：

{
    'scrapy.contracts.default.UrlContract' : 1,
    'scrapy.contracts.default.ReturnsContract': 2,
    'scrapy.contracts.default.ScrapesContract': 3,
}

包含scrapy默认情况下启用的scrapy合约的dict。您永远不应该在项目中修改此设置，SPIDER_CONTRACTS 而是修改。有关更多信息，请参阅蜘蛛合同。

您可以通过分配None其类路径来禁用任何这些合同SPIDER_CONTRACTS。例如，要禁用内置功能ScrapesContract，请将其放入settings.py：

SPIDER_CONTRACTS = {
    'scrapy.contracts.default.ScrapesContract': None,
}

 

SPIDER_LOADER_CLASS 

默认： 'scrapy.spiderloader.SpiderLoader'

将用于加载蜘蛛的类，必须实现 SpiderLoader API。

 

SPIDER_LOADER_WARN_ONLY 

版本1.3.3中的新功能。

默认： False

默认情况下，当scrapy尝试从中导入蜘蛛类时SPIDER_MODULES，如果有任何ImportError异常，它将大声失败。但您可以选择将此异常静音并通过设置将其转换为简单警告。SPIDER_LOADER_WARN_ONLY = True

注意

有些scrapy命令使用此设置运行True 已经（即他们只会发出警告并不会失败），因为他们实际上并不需要加载蜘蛛类的工作： ， ， ，。scrapy runspiderscrapy settingsscrapy startprojectscrapy version

 

SPIDER_MIDDLEWARES 

默认：： {}

包含项目中启用的蜘蛛中间件及其命令的dict。有关更多信息，请参阅激活蜘蛛中间件。

 

SPIDER_MIDDLEWARES_BASE 

默认：

{
    'scrapy.spidermiddlewares.httperror.HttpErrorMiddleware': 50,
    'scrapy.spidermiddlewares.offsite.OffsiteMiddleware': 500,
    'scrapy.spidermiddlewares.referer.RefererMiddleware': 700,
    'scrapy.spidermiddlewares.urllength.UrlLengthMiddleware': 800,
    'scrapy.spidermiddlewares.depth.DepthMiddleware': 900,
}

包含Scrapy中默认启用的蜘蛛中间件及其命令的dict。低订单更接近引擎，高订单更接近蜘蛛。有关更多信息，请参阅激活蜘蛛中间件。

 

SPIDER_MODULES 

默认： []

Scrapy将寻找蜘蛛的模块列表。

例：

SPIDER_MODULES = ['mybot.spiders_prod', 'mybot.spiders_dev']

 

STATS_CLASS 

默认： 'scrapy.statscollectors.MemoryStatsCollector'

用于收集统计信息的类，必须实现 Stats Collector API。

 

STATS_DUMP 

默认： True

蜘蛛完成后，将Scrapy统计数据（转到Scrapy日志）转储。

有关详细信息，请参阅：统计信息收集。

 

STATSMAILER_RCPTS 

默认值:( []空列表）

在蜘蛛完成刮擦后发送Scrapy统计数据。有关详情StatsMailer，请参阅 。

 

TELNETCONSOLE_ENABLED 

默认： True

一个布尔值，指定是否 启用telnet控制台（如果其扩展名也已启用）。

 

TELNETCONSOLE_PORT 

默认： [6023, 6073]

用于telnet控制台的端口范围。如果设置为None或0，则使用动态分配的端口。有关详细信息，请参阅 Telnet控制台。

 

TEMPLATES_DIR 

默认值：templatesdir在scrapy模块中

使用startproject命令创建新项目时使用命令查找模板的目录以及使用命令创建 新蜘蛛的目录genspider 。

项目名称不得与project子目录中的自定义文件或目录的名称冲突。

 

URLLENGTH_LIMIT 

默认： 2083

范围： spidermiddlewares.urllength

允许抓取的网址的最大网址长度。有关此设置的默认值的详细信息，请参阅：https：//boutell.com/newfaq/misc/urllength.html

 

USER_AGENT 

默认： "Scrapy/VERSION (+https://scrapy.org)"

爬网时使用的默认User-Agent，除非被覆盖。

_VvoovV_
关注
专栏目录
Python爬虫之Scrapy框架系列（6）——settings.py配置文件的学习
孤寒者的博客
01-04 1万+
Python爬虫之Scrapy框架系列（6）——settings.py配置文件的学习
Scrapy爬虫框架 Cookies 本地终端数据
热门推荐
Mr数据杨
03-22 3万+
在本教程中，我们深入探讨了Scrapy 2.6中的设置及其实际应用。通过对Cookies的基本概念、设置方法、以及实际应用的详细说明，旨在帮助你理解如何在Scrapy项目中有效地管理和使用Cookies。掌握Scrapy中的Cookies管理不仅能够提升爬虫的功能性和稳定性，还能使你在应对复杂网络环境时游刃有余。希望通过本教程，你能够更好地理解和运用Scrapy的Cookies管理机制，在实际项目中打造更强大的网络爬虫。
scrapy常用设置参考手册
python之战
03-28 1013
内置设置参考 以下是所有可用Scrapy设置的列表，按字母顺序排列，以及它们的默认值和适用范围。 范围（如果可用）显示设置的使用位置，如果它与任何特定组件相关联。在那种情况下，将显示该组件的模块，通常是扩展，中间件或管道。它还意味着必须启用该组件才能使设置产生任何效果。 AWS_ACCESS_KEY_ID 默认：None 需要访问Amazon Web服务的代码使用的AWS访问密钥，例如...
在职数据工程师python笔记 scrapy常用设置 自动更新 Redis去重方法 自定义启动参数 响应码与异常捕获 深度优先 scrapy日志文件系统
朴拙科技的博客
12-30 341
好处是不用写大量名字如城市不同，但代码内容相同的的文件，不用修改32个文件。修改一个文件就可以修改所有的spider可以写在配置文件里# 继承类 def __init__(self , city) : super() . __init__() self . spider_city = city from scrapy . cmdline import executeexcute scrapy crawl - a city = [ "上海" ]pipline 自动去重更新插数据库。
关闭scrapy的UserWarning: Selector got both text and root, root is being ignored.警告信息
一勺菠萝丶的博客
01-24 928
在Python开发中，我们可能会遇到一些特定的警告，它们可能是由于第三方库中的代码引起的，或者是我们自己代码中一些不合理但并非致命的部分产生的。例如，Scrapy框架可能会发出警告，提示我们关于选择器使用的一些不推荐的做法。这些警告虽然有其重要性，但有时候我们确信这些警告对当前的项目不是问题，或者它们是由于我们使用的某个库而不是我们自己的代码引起的。这时，我们可能想要关闭它们。下面，我们将介绍如何关闭Python警告，并且分析一个具体的警告例子。
Scrapy_settings配置文件设置
m0_73689941的博客
11-12 232
Scrapy_settings文件配置设置，常用配置，和全部配置解析
python模块之Scrapy爬虫框架
局外人LZ的博客
10-10 1449
Scrapy 是一个用于爬取网站数据的强大的开源 Python 框架。它提供了一个高级的抓取和数据提取工具集，使您能够快速、灵活地构建和扩展网络爬虫。强大的功能：Scrapy 提供了一套完整的工具和功能，包括请求调度、数据提取、数据存储、数据处理和管道等。它支持异步处理、并发请求、代理、用户代理池、自动限速等功能，使得爬取和处理大规模数据变得更加高效和灵活。可扩展性：Scrapy 的架构设计非常灵活，允许您通过编写扩展和中间件来自定义和扩展其功能。
scrapy_settings.py
02-26
scrapy的setting
Scrapy框架基本命令与settings.py设置
09-18
### Scrapy框架基本命令与settings.py设置详解 #### Scrapy框架基本命令 Scrapy是一款用于Python的快速高级网络爬虫框架，它可以帮助开发者快速编写出能够抓取网站内容的应用程序。下面详细介绍Scrapy的一些基本...
scrapy settings.py怎么添加Spider
最新发布
10-23
在`Scrapy`中，`settings.py`文件是用来配置爬虫项目全局参数的文件。如果你想在其中添加一个新的spider（爬虫），你需要做的是： 1. 首先，确保你的spider已经被正确地定义在一个单独的模块中，例如`my_spiders.py...
scrapy-s3-cache:在 Scrapy 项目中使用 S3 作为缓存后端
05-30
scrapy-s3-cache 在 Scrapy 项目中使用 S3 作为缓存后端。 更多文档即将推出！
scrapy 爬虫踩过的坑（I）
weixin_30698527的博客
11-09 334
问题1：正则表达式没问题，但是爬虫进不了item方法 分析： 　　1. 可能是下载不到list 页面的内容。可以用 scrapy shell url 进行测试 　　 　　2. 可能是allowed_domains 不允许 　　 　　3. list 页面里的链接不符合正则表达式 或者说list 页面里根本就没有相关的链接 解决方案 针对第一种：有可能是所爬取的网站有反爬虫机制...
Scrapy的内置中间件类型
愤怒的小兵
04-04 622
Scrapy中的内置中间件类型 常见中间件 下载中间件 DownloaderStats 保存所有通过的request、response及exception的中间件，通过启用 DOWNLOADER_STATS 来启用该中间件 代理中间件 HttpProxyMiddleware 提供了对request设置HTTP代理的支持，通过在 Request 对象中设置 proxy 元数据来开启代理。 User-...
python scrapy为每个请求设置timeout
RobbenEmi的专栏
08-05 1548
scrapy timeout
Scrapy设置下载延时和自动限速
m0_49501453的博客
09-09 5143
Scrapy设置下载延时和自动限速 DOWNLOAD_DELAY 在settings.py文件中设置 #延时2秒，不能动态改变，时间间隔固定，容易被发现，导致ip被封 DOWNLOAD_DELAY=2　　 RANDOMIZE_DOWNLOAD_DELAY 在settings.py文件中设置 # 启用后，当从相同的网站获取数据时，Scrapy将会等待一个随机的值，延迟时间为0.5到1.5之间的一个随机值乘以DOWNLOAD_DELAY RANDOMIZE_DOWNLOAD_DELAY=Tru
opensips 安装及基本配置
whyhonest的专栏
02-24 6253
opensips 安装及基本配置 http://wenku.baidu.com/view/f64ea4d333d4b14e852468c2.html 1 . 官方网站 http://www.opensips.org/ 的 download 中下载 opensips 软件包   2 .  编译： Java代码    1. tar zxvf opensips-1
scrapy setting配置
s13596191285的博客
12-16 811
AUTOTHROTTLE_START_DELAY = 3 开始下载时限速并延迟时间 AUTOTHROTTLE_MAX_DELAY = 60 高并发请求时最大延迟时间 AWS_ACCESS_KEY_ID 它是用于访问亚马逊网络服务。 默认值：无 AWS_SECRET_ACCESS_KEY 它是用于访问亚马逊网络服务。 BOT_NAME 它是一种可以用于构建用户代理机器人的名称。 默认值：“scrapybot” eg:BOT_NAME=“scrapybot” CONCURRENT_ITEMS 在用来并
TLSv1.2及Https协议示例
$好记性还是要多记录$
09-24 3036
编译 SSL/TLS client server examples using openssl ## Build $ mkdir build $ cd build $ cmake .. $ make $ cp -rf ../certs ./ 测试运行 ### Server side $ ./server Certificate Verify Success Client Hello Wor...
HTTPS协议详解：TLS/SSL握手过程
麦峰强的博客
12-14 6126
1、握手与密钥协商过程 基于RSA握手和密钥交换的客户端验证服务器为示例详解TLS/SSL握手过程 再看一张手绘时序图(1).client_hello 在发送的 Client Hello 中会带上自己支持的加密算法，供服务端从中挑选。由于老旧客户端会支持一些不安全的加密算法，为了提高传输安全，通常会在服务端指定一个可用算法列表，最终使用的加密类型取决于二者的交集，并按服务端优先级取第一个；如果没...
WARNING *** OLE2 stream 'SSCS': expected size 6929792, actual size 1024
07-12
你好！关于你提到的警告信息，这是由于在打开一个 OLE2 流时，预期的大小与实际大小不匹配所导致的。这个警告意味着预期大小为 6929792 字节，但实际大小只有 1024 字节。这可能是由于文件损坏或格式错误引起的。 为了解决这个问题，你可以尝试以下几个步骤： 1. 检查文件是否完整：确保文件没有被损坏或部分下载。你可以重新下载文件或从其他来源获取一个完整的版本。 2. 使用合适的工具打开文件：确保你使用的工具能够正确解析和处理该类型的文件。如果当前的工具无法打开文件，可以尝试使用其他应用程序。 3. 检查文件格式：确保文件的格式与你尝试打开它的应用程序兼容。如果文件格式不正确，你可能需要将其转换成正确的格式。 如果以上步骤都不能解决问题，那可能是文件本身存在问题，可能需要联系文件的提供方或相关技术支持寻求进一步帮助。希望这些信息能对你有所帮助！如果还有其他问题，请随时提问。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值