scrapy对大型文件下载出现报错expected response size (6759024687) larger than download max size (1073741824).
出现报错时,说明自己下载的文件已经超过的scrapy框架默认的最大下载尺寸了,这时候我们可以在配置文件setting中添加:`大型文件下载时也会长长造成网络超时, 我们可以延长网络传输的时间,防止数据下载到一半,scrapy终止了该下载流,需要再配置文件在添加:如果对你有帮助请点赞
原创
2024-04-30 17:40:47 ·
39 阅读 ·
0 评论