1. IP代理简介
1.1 使用代理IP,这是爬虫/反爬虫的第二大招,通常也是最好用的。很多网站会检测某一段时间某个IP的访问次数(通过流量统计,系统日志等),如果访问次数多的不像正常人,它会禁止这个IP的访问。所以我们可以设置一些代理服务器,每隔一段时间换一个代理,就算IP被禁止,依然可以换个IP继续爬取。
1.2 代理的原理:在请求目的网站之前,先请求代理服务器,然后让代理服务器去请求目的网站,代理服务器拿到目的网站的数据后,再抓发给我们的代码。
1.3 爬虫网站介绍:
(1)http://httpbin.org/:这个网站可以方便的查看http请求的一些参数。
(2)https://www.kuaidaili.com/ops/:快代理可以提供很多免费代理。
1.4 在代码中使用代理的过程(python3):
(1)使用‘urllib.request.ProxyHandler’,传入一个代理,这个代理是一个字典:字典的key依赖于代理服务器能够接受的类型,一般是‘http’或‘https’;字典的值是‘ip:port’。
(2)使用上一步创建的'handler',以及‘request.build_opener’创建一个‘opener’。
(3)使用上一步创建的‘opener’,调用‘open’函数,发起请求。
1.5 示例代码如下(python3):
#--coding:utf-8--#
from urllib import request
url='http://httpbin.org/ip'
#1. 使用ProxyHandler,传入代理构建一个handler
handler=request.ProxyHandler({"http":"223.241.78.43.8010"})
#2. 使用上面创建的hander构建一个opener
opener=request.build_opener(handler)
#3. 用opener去发送一个请求
resp=opener.open(url)
print (resp.read())
1.6 Python2.7代码中的urllib模块与Python3略有不同,示例代码如下(python2.7):
# --coding:utf-8-- #
import urllib2
# url = 'http://httpbin.org/ip'
url = "https://blog.csdn.net/wetest_tencent/article/details/51272981"
# 1. 使用ProxyHandler,传入代理构建一个handler
handler = urllib2.ProxyHandler({"http": "115.223.225.29"})
# 2. 使用上面创建的handler构建一个opener
opener = urllib2.build_opener(handler)
# 3. 用opener去发送一个请求
request = urllib2.Request(url)
resp = opener.open(request)
print resp.read()
2. ProxyHandler代理器实例1
urllib2中通过ProxyHandler来设置使用代理服务器,下面代码说明如何使用自定义opener来使用代理:
#urllib2_proxy1.py
import urllib2
# 构建了两个代理Handler,一个有代理IP,一个没有代理IP
httpproxy_handler = urllib2.ProxyHandler({"http" : "124.88.67.81:80"})
nullproxy_handler = urllib2.ProxyHandler({})
proxySwitch = True #定义一个代理开关
# 通过 urllib2.build_opener()方法使用这些代理Handler对象,创建自定义opener对象
# 根据代理开关是否打开,使用不同的代理模式
if proxySwitch:
opener = urllib2.build_opener(httpproxy_handler)
else:
opener = urllib2.build_opener(nullproxy_handler)
request = urllib2.Request("http://www.baidu.com/")
# 1. 如果这么写,只有使用opener.open()方法发送请求才使用自定义的代理,而urlopen()则不使用自定义代理。
response = opener.open(request)
# 2. 如果这么写,就是将opener应用到全局,之后所有的,不管是opener.open()还是urlopen() 发送请求,都将使用自定义代理。
# urllib2.install_opener(opener)
# response = urlopen(request)
print response.read()
免费的开放代理获取基本没有成本,我们可以在一些代理网站上收集这些免费代理,测试后如果可以用,就把它收集起来用在爬虫上面。
如果代理IP足够多,就可以像随机获取User-Agent一样,随机选择一个代理去访问网站。
import urllib2
import random
proxy_list = [
{"http" : "124.88.67.81:80"},
{"http" : "124.88.67.81:80"},
{"http" : "124.88.67.81:80"},
{"http" : "124.88.67.81:80"},
{"http" : "124.88.67.81:80"}
]
# 随机选择一个代理
proxy = random.choice(proxy_list)
# 使用选择的代理构建代理处理器对象
httpproxy_handler = urllib2.ProxyHandler(proxy)
opener = urllib2.build_opener(httpproxy_handler)
request = urllib2.Request("http://www.baidu.com/")
response = opener.open(request)
print response.read()
但是,这些免费开放代理一般会有很多人都在使用,而且代理有寿命短,速度慢,匿名度不高,HTTP/HTTPS支持不稳定等缺点(免费没好货)。
所以,专业爬虫工程师或爬虫公司会使用高品质的私密代理,这些代理通常需要找专门的代理供应商购买,再通过用户名/密码授权使用(舍不得孩子套不到狼)。
参考1:https://blog.csdn.net/qq_32252917/article/details/79074219