Pyspider报错:Exception: HTTP 599: Could not resolve host:xxxx
pyspider从机突然大量出现HTTP 599的问题,导致大量项目跑起来就被暂停,大量retry,并且fetcher任务失败
问题解决:
1.查看pyspider日志,找到出现报HTTP 599的链接,在当台机器上用curl测试可以拿到数据,排除被反爬或者对方网站服务器出现问题的原因
2.怀疑是云服务器DNS域名解析出现问题,更改/etc/resolv.conf,在里面加上当前比较快的DNS,问...
原创
2019-04-17 09:39:36 ·
1179 阅读 ·
0 评论