提示:文章写完后,目录可以自动生成,如何生成可参考右边的帮助文档
前言
当我们一直爬取一个网站时,由于我们的IP值是不会变的,虽然我们的User-Agent是可以的变的,但是网站检测到我们的IP值始终是一个,如果多次访问,就有可能会被封掉,那么怎么解决呢?
一、查看自己的IP
from urllib import request
from fake_useragent import UserAgent
ge = UserAgent()
url = 'http://httpbin.org/ip'
head = {'User-Agent':ge.random}
req = request.Request(url,headers=head)
req = request.urlopen(req)
con = req.read().decode('utf-8')
print(req.status)
print(con)
可以直接得到这样的结果,这里查询自己IP的url 我选用的是http://httpbin.org/ip
二、更换自己的IP
from urllib import request
from fake_useragent import UserAgent
ge = UserAgent()
ip = {'http':'39.106.223.134:80'}
proxy = request.ProxyHandler(ip)
opener = request.build_opener(proxy)
url = 'http://httpbin.org/ip'
head = {'User-Agent':ge.random}
req = request.Request(url,headers=head)
req = opener.open(req)
con = req.read().decode('utf-8')
print(req.status)
print(con)
这里我们在番茄IP代理中随便找了一个IP,然后使用,可以看到结果,我们的IP已经发生了改变。