爬虫系列笔记六Handler

最新推荐文章于 2024-05-06 12:45:46 发布

想offer的第n天

最新推荐文章于 2024-05-06 12:45:46 发布

阅读量292

点赞数

分类专栏： python之爬虫文章标签：爬虫 chrome safari

本文链接：https://blog.csdn.net/h91er/article/details/127396690

版权

python之爬虫专栏收录该内容

13 篇文章 1 订阅

订阅专栏

这篇博客介绍了如何通过Python的urllib库中的Handler处理程序来定制更复杂的HTTP请求头，以满足业务需求。具体步骤包括创建HTTPHandler对象，构建opener，并使用opener打开URL以获取网页内容。示例中展示了访问百度并保存网页源码到本地文件的过程。

摘要由CSDN通过智能技术生成

Handler处理器定制更高级的请求头（随着业务逻辑的复杂，请求对象的定制已经满足不了我们的需求

使用handler来访问百度，获取百度网页代码（这里只给出了基本的用法）
handler使用的三个步骤
1）获取handler对象
2）获取build_opener对象
3）调用open方法

from cgitb import handler
import urllib.request

url='http://www.baidu.com'

headers={
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/106.0.0.0 Safari/537.36'
}

req=urllib.request.Request(url=url,headers=headers)


#handler使用的三个步骤handler  build_opener  open

#(1)获取handler对象
handler=urllib.request.HTTPHandler()
#（2）获取opener对象
opener=urllib.request.build_opener(handler)
#（3）调用open方法
response=opener.open(req)
content=response.read().decode('utf-8')
with open('baidu.html','w')as f:
    f.write(content)