怎么能避免浏览器请求超时_浏览器所允许的http请求最长的响应时间?

最近遇到一个问题,就是前端发起http请求后,后端接近要10几分钟才能完整处理好并且响应回来,而浏览器在2分多种的时候,因为请求一直没有响应而failed了,虽然后面让后台优化流程去了。但是我却有了一个疑问:

浏览器对于http请求的响应时间是否存在最大值呢?是否超出一定时间内无响应就会挂起这个请求?

如果实在是需要设置可以允许超长的请求,有可能做到吗?

多谢各位大神的赐教,为了方便大家理解为什么我会提这个问题,这里补充下业务的场景:

用户点击按钮进行批量导入,然后弹框让其选择excel表,选择完毕前端直接将数据发给后端处理;

后端拿到excel表,将里面的数据先一一和我们的数据库匹配,然后再将数据和天眼查(或其他类似)的数据比对,比对完成再将核实后的数据保存下来返回给前端;

问题所在:

a.前端不会限制excel表格的大小,理论上excel可以无限大;

B.测试过当excel里面存在超过5000条数据的时候,前端发起请求后,后端一直在处理,而浏览器在2分钟左右的时候就因为请求没有任何响应而failed,但是看了后端的代码,他其实还在运行,简单看了下,后端整个过程下来要运行接近20分钟

目前想法:

a.作为前端,对于这种要用户等待时间这么长的请求,我肯定是不同意的,会严重影响用户体验,已经让后端回去检查

B.过程中衍生了一个想法:万一将来真的有一天需要做这种恶心的功能,前端是否有可能做得到?

最后,再一次谢谢各位赐教的大神!

  • 3
    点赞
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
出现请求超时的原因可能有很多,比如网络原因、服务器响应速度慢等等。在使用Scrapy发送POST请求时,可以尝试以下几种方法来解决超时问题: 1. 增加超时时间:在Scrapy的settings.py文件中设置DOWNLOAD_TIMEOUT参数,增加请求超时时间,例如: ``` DOWNLOAD_TIMEOUT = 20 ``` 2. 使用RetryMiddleware:在Scrapy中使用RetryMiddleware可以自动重试请求,可以设置重试次数和重试时间间隔。在settings.py文件中添加以下代码: ``` RETRY_TIMES = 3 RETRY_HTTP_CODES = [500, 502, 503, 504, 400, 403, 404, 408] DOWNLOADER_MIDDLEWARES = { 'scrapy.downloadermiddlewares.retry.RetryMiddleware': 90, 'scrapy_proxies.RandomProxy': 100, 'scrapy.downloadermiddlewares.httpproxy.HttpProxyMiddleware': 110, } ``` 3. 使用代理:在Scrapy中使用代理可以解决网络闪断等问题,可以使用scrapy_proxies库来实现代理功能。在settings.py文件中添加以下代码: ``` PROXY_LIST = '/path/to/proxy/list.txt' PROXY_MODE = 0 RANDOM_UA_PER_PROXY = True ``` 其中,PROXY_LIST为代理IP列表文件路径,PROXY_MODE为代理模式,0为随机选择代理IP,1为顺序选择代理IP。RANDOM_UA_PER_PROXY为是否在每个代理IP上使用随机User-Agent。 4. 使用requests库:如果使用Scrapy发送POST请求仍然存在超时问题,可以尝试使用requests库来发送请求。在Scrapy中可以使用scrapy-requests库来集成requests库,具体使用方法可以参考文档:https://github.com/scrapy-plugins/scrapy-requests

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值