python爬虫设置代理ip池——方法(二)
免费代理IP非常适合对IP数量要求较小的这类人群,如果你是做网络爬虫,或者是需求大量代理IP资源的公司或工作室,小编还是推荐使用付费代理IP更省时省力,那具体如何使用代理IP资源呢?下文将以芝麻代理为例。
一、官方给出的Python接入代理ip demo
Python http/sock5:
#coding=utf-8
import requests
#请求地址
targetUrl = "http://baidu.com"
#代理服务器
proxyHost = "ip"
proxyPort = "port"
proxyMeta = "http://%(host)s:%(port)s" % {
"host" : proxyHost,
"port" : proxyPort,
}
#pip install -U requests[socks] socks5代理
# proxyMeta = "socks5://%(host)s:%(port)s" % {
# "host" : proxyHost,
# "port" : proxyPort,
# }
proxies = {
"http" : proxyMeta,
"https" : proxyMeta,
}
resp = requests.get(targetUrl, proxies=proxies)
print resp.status_code
print resp.text
注:
小编觉得官网给的代码很简单,但实际用起来还是会遇到很多问题的