项目中遇到这样一个问题:
我要爬取一个国外网站,requests必须走全局代理,但是存的数据库在国内,不可以用全局代理(否则直接超时)
所以本地代理必须开成PAC
但是此时老版的request将无法走PAC加速,因为不支持socks
所以将request更新为支持socks的版本:
pip install -U requests[socks]
proxies = {
"http":"http://127.0.0.1:1080","https":"https://127.0.0.1:1080"
}
url = 'https://www.pixiv.net/'
res = requests.get(url, headers=headers, proxies=proxies)
proxies中定义了本地SSR的端口