- 博客(2)
- 收藏
- 关注
原创 scrapy对大型文件下载出现报错expected response size (6759024687) larger than download max size (1073741824).
出现报错时,说明自己下载的文件已经超过的scrapy框架默认的最大下载尺寸了,这时候我们可以在配置文件setting中添加:`大型文件下载时也会长长造成网络超时, 我们可以延长网络传输的时间,防止数据下载到一半,scrapy终止了该下载流,需要再配置文件在添加:如果对你有帮助请点赞
2024-04-30 17:40:47 104
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人