Python爬虫学习——代理设置

对于某些网站，一旦大规模爬取，对于大规模且频繁的请求，网站可能会弹出验证码，或者跳转到登录认证页面，更甚者可能会直接封禁客户端的IP，导致一段时间内无法访问。

为了防止这种情况发生，需要设置代理来解决，需要用到proxies参数。

设置方式如下：

import requests

proxies = {
    "http":"https://user:password@10.10.1.10:3128/",
}
requests.get("http://www.taobao.com",proxies=proxies)