爬虫之代理的问题解决

爬虫之代理

昨天学习小甲鱼的代理，但是弄了一晚上也没成功，一会是什么不积极相应，一会又是什么远程主机拒绝访问
http://45.32.164.128/ip.php是个能返回当前访问的IP的网址，123.163.27.115:9999’是我在https://www.kuaidaili.com/free/ 上找到免费代理ip

1.问题的解决方法就是别用公共网络wifi，换成热点QAQ

http://45.32.164.128/ip.php是个能返回当前访问的IP的网址，123.163.27.115:9999’是我在https://www.kuaidaili.com/free/ 上找到免费代理ip
代码如下
import urllib.request
url=‘http://45.32.164.128/ip.php’ #可以显示当前访问的ip
proxy_support=urllib.request.ProxyHandler({‘http’:‘123.163.27.115:9999’})
opener=urllib.request.build_opener(proxy_support)
opener.addheaders=[(‘User-Agent’,‘Mozilla/5.0 (Windows NT 10.0; Win64; x6 4) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3945.130 Safari/537.36’)]

urllib.request.install_opener(opener) #下载一次就行了
response=urllib.request.urlopen(url)
html=response.read().decode(‘utf-8’)
print(html)

2.之后又想把IP聚集到列表中，让其随机抽取，避免老是用同一个ip

import urllib.request
import random

#多加几个
ipList=[‘123.163.27.115:9999’,‘163.204.244.161:9999’,‘117.90.0.201:9999’]

url=‘http://45.32.164.128/ip.php’ #可以显示当前访问的ip

proxy_support=urllib.request.ProxyHandler({‘http’:random.choice(ipList)})
#123.163.27.115:9999’random.choice(ipList

opener=urllib.request.build_opener(proxy_support)
opener.addheaders=[(‘User-Agent’,‘Mozilla/5.0 (Windows NT 10.0; Win64; x6 4) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3945.130 Safari/537.36’)]

urllib.request.install_opener(opener) #下载一次就行了

response=urllib.request.urlopen(url)

html=response.read().decode(‘utf-8’)

print(html)

但是又有新的问题
这让我百思不得，我就有回头一个个的尝试我搜到的代理ip，发现只有第一个可以，懵逼QAQ

所以和我一样初学的兄弟们，不是我们太菜，而是免费提供的不良心。。。。