在编写爬虫时,设置在字典中两个IP地址,结果出现如下图所示的错误:
[WinError 10061] 由于目标计算机积极拒绝,无法连接。
设置代理IP为:
proxy_handler = ProxyHandler({
'http': '127.0.0.0:4973',
'https': '127.0.0.1:4973'
})
opener = build_opener(proxy_handler)
后来查阅了一些资料后,其实只用设置一种代理IP地址即可,https简单点说就是http的安全版,因此只需设置一种IP。
将此行:'https': '127.0.0.1:4973'代码删掉就能解决此错误了!
附上通过代理IP爬取网页的代码,不对之处请多多指教!!!
from urllib.error import URLError #异常处理模块,捕获错误
from urllib.request import ProxyHandler, build_opener #代理IP模块
#设置代理IP
proxy_handler = ProxyHandler({
'http': '127.0.0.0:4973'
})
opener = build_opener(proxy_handler) #通过proxy_handler来构建opener
#请求网站
try:
response = opener.open('https://www.douban.com/') #此处的open方法同urllib的urlopen方法
print(response.read().decode('utf-8'))
except URLError as e:
print(e.reason)