Xu_programmer的博客

原创 新人python爬虫请求出错常见错误

请求出错 爬取页面开始没有问题，爬到某个时刻异常报错，如果是403错误，是被反爬抓到了。 解决方法： 1，设置headers，建一个user-agent池，每次用不同到user-agent访问，用来模拟不同浏览器访问页面 2，设置代理池，每次用不同的ip 3，设置延迟，time.sleep(random.randint(0,5))，改变抓取效率，防止被发现 ConnectionRese...