Urllib的介绍（2）————Hanlder处理器

要努力啊啊啊

已于 2023-05-09 13:34:29 修改

阅读量109

点赞数

分类专栏：爬虫python 文章标签： chrome 前端

于 2023-02-01 16:04:35 首次发布

本文链接：https://blog.csdn.net/guoguozgw/article/details/128835653

版权

爬虫python 专栏收录该内容

7 篇文章 0 订阅

订阅专栏

文章介绍了如何在Python中利用urllib.request库的Handler功能来处理更复杂的网络请求，如定制请求头以添加User-Agent，以及使用ProxyHandler来设置代理IP进行动态代理。示例代码展示了如何设置请求头以模拟浏览器行为，以及如何配置HTTP代理进行网络请求，并将响应内容写入文件。

摘要由CSDN通过智能技术生成

1.Handler处理器

Handler
定制更高级的请求头（随着业务逻辑的复杂请求对象的定制已经满足不了我们的需求（动态cookie和代理不能使用请求对象的定制）
例子：代理IP（快代理），验证码（超级鹰）

import urllib.request 
url = 'http://www.baidu.com/s?wd=ip' 
headers = { 'User ‐ Agent': 'Mozilla / 5.0(Windows NT 10.0;Win64;x64) AppleWebKit / 537.36(KHTML, likeGecko) Chrome / 74.0.3729.169Safari / 537.36' } 
request = urllib.request.Request(url=url,headers=headers) 
proxies = {'http':'117.141.155.244:53281'} 
handler = urllib.request.ProxyHandler(proxies=proxies) 
opener = urllib.request.build_opener(handler) 
response = opener.open(request) 
content = response.read().decode('utf‐8') with open('daili.html','w',encoding='utf‐8')as fp: 
	fp.write(content)