requests使用ip代理时单ip和多ip设置方式,智联招聘小爬虫封装
reqeusts库,在使用ip代理时,单ip代理和多ip代理的写法不同
(目前测试通过,如有错误,请评论指正)
单ip代理模式
省去headers等
import requests
proxy = {
'HTTPS': '162.105.30.101:8080'
}
url = '爬取链接地址'
response = requests.get(url,proxies=proxy)...
原创
2018-06-22 10:28:38 ·
12259 阅读 ·
0 评论