百度站长后台网站蜘蛛抓取时间很长初步优化 Baiduspider每次抓取耗时是否有影响

我们在后台看到这样的抓取耗时：

平均耗时1秒到2.5秒左右，只能算是一般了。

如果能降低耗时那是最好不过了，我们使用浏览器F12进行检查！

我们使用浏览器检测为如下结果:

传输大小24k 原始大小85k 耗时700ms+

我们使用HTML压缩清理掉注释空格等等占用大小的字符，然后启用gzip进行压缩。

百度官方介绍：

工程师答：1秒是最好，最多4至5秒也可以接受，如果时间再长，恐怕蜘蛛会过段时间再来了。当然如果这种情况经常发生，对你站点的抓取是非常不利的。

https://ziyuan.baidu.com/college/articleinfo?id=868

文章地址：https://www.apizl.com/archives/view-141140-1.html