scrapy对大型文件下载出现报错expected response size (6759024687) larger than download max size (1073741824).

qq_34732896

已于 2024-04-30 17:46:43 修改

阅读量93

点赞数 4

分类专栏：爬虫文章标签： python scrapy

于 2024-04-30 17:40:47 首次发布

本文链接：https://blog.csdn.net/qq_34732896/article/details/138352570

版权

1 篇文章 0 订阅

订阅专栏

本文介绍了在Scrapy框架中遇到大文件下载报错和网络超时问题时，如何通过修改配置文件来解决，包括调整最大下载尺寸DOWNLOAD_MAXSIZE和下载超时DOWNLOAD_TIMEOUT的设置。

摘要由CSDN通过智能技术生成

出现报错时，说明自己下载的文件已经超过的scrapy框架默认的最大下载尺寸了，

这时候我们可以在配置文件setting中添加：

# 允许下载最大的尺寸为1024MB 设置为0时取消该限制
DOWNLOAD_MAXSIZE = 0

大型文件下载时也会经常造成网络超时，我们可以延长网络传输的时间，防止数据下载到一半，scrapy终止了该下载流，需要再配置文件在添加：

# 下载器默认等待的最长时间，超过该时间则会认为响应超时重新发起请求默认时180s
DOWNLOAD_TIMEOUT = 60*60

如果对你有帮助请点赞

关注