已解决urllib模块设置代理ip

已解决urllib模块设置代理ip

---

---

报错代码

最近用urllib编写了一个简单的爬虫下载网上文件的代码，刚运行没多久就每个url都报403错误。但是手动在浏览器端访问却是能够访问的。报错代码如下：

from urllib.request import urlretrieve
import wget

url = "http://cdict.qq.pinyin.cn/download?dict_id=s49272"  # 请求下载文件地址
urlretrieve(url, '1.qcel')  # 第二个参数表示路径

报错信息截图如下：

报错翻译

报错信息翻译：


错误。HTTP错误403:禁止

报错原因

报错原因：

访问网站403错误：资源不可用，403错误是一种在网站访问过程中，常见的错误提示，表示资源不可用。服务器理解客户的请求，但拒绝处理它，通常由于服务器上文件或目录的权限设置导致的WEB访问错误。

出现该错误的原因是服务器开启了反爬虫，

解决方法

urllib模块：

• 代理IP的原理：本机 ----大力IP----访问的网站（服务器），简述：本机先访问代理IP，再通过代理IP地址访问互联网，这样网站（服务器）接收到的访问IP就是代理IP地址。

• 由Urllib提供urllib.request.ProxyHandler()方法可动态设置代理IP池

使用urllib模块设置代理IP是比较简单的，首先需要创建ProxyHandler对象，其参数为字典类型的代理IP，键名为协议类型（如HTTP或者HTTPS)，值为代理链接。然后利用ProxyHandler对象与buildopener()方法构建一个新的opener对象，最后再发送网络请求即可。

import urllib.request  # 导入urllib.request模块
url= 'https://www.httpbin.org/get'   # 网络请求地址
 
# 创建代理IP
proxy_handler = urllib.request.ProxyHandler({
    'https':'58.220.95.114:10053'
})
 
# 创建opener对象
opener = urllib.request.build_opener(proxy_handler)
response = opener.open(url,timeout=2)        # 发送网络请求
print(response.read().decode('utf-8'))    # 打印返回内容

以上是此问题报错原因的解决方法，欢迎评论区留言讨论是否能解决，如果有用欢迎点赞收藏文章谢谢支持，博主才有动力持续记录遇到的问题！！！

千人全栈VIP答疑群联系博主帮忙解决报错

由于博主时间精力有限，每天私信人数太多，没办法每个粉丝都及时回复，所以优先回复VIP粉丝，可以通过订阅限时9.9付费专栏《100天精通Python从入门到就业》进入千人全栈VIP答疑群，获得优先解答机会（代码指导、远程服务），白嫖80G学习资料大礼包，专栏订阅地址：https://blog.csdn.net/yuan2019035055/category_11466020.html

• 优点：作者优先解答机会（代码指导、远程服务），群里大佬众多可以抱团取暖（大厂内推机会），此专栏文章是专门针对零基础和需要进阶提升的同学所准备的一套完整教学，从0到100的不断进阶深入，后续还有实战项目，轻松应对面试！

• 专栏福利：简历指导、招聘内推、每周送实体书、80G全栈学习视频、300本IT电子书：Python、Java、前端、大数据、数据库、算法、爬虫、数据分析、机器学习、面试题库等等

• 注意：如果希望得到及时回复，订阅专栏后私信博主进千人VIP答疑群
  

免费资料获取，更多粉丝福利，关注下方公众号获取