Python爬虫——urllib_handler处理器的基本使用

错过人间飞鸿

已于 2023-08-07 22:05:08 修改

阅读量644

点赞数

分类专栏： Python爬虫文章标签： python 爬虫

于 2023-07-16 14:57:45 首次发布

本文链接：https://blog.csdn.net/m0_63757342/article/details/131750494

版权

Python爬虫专栏收录该内容

35 篇文章 1 订阅

订阅专栏

该文章展示了如何使用Python的urllib.request库中的Handler来定制HTTP请求头，特别是User-Agent字段，以实现更高级的网络请求操作。通过创建HTTPHandler，构建opener并用其打开Request对象，可以控制和自定义HTTP通信。

摘要由CSDN通过智能技术生成

handler处理器：定制更高级的请求头

import urllib.request

url = 'http://www.baidu.com'

headers = {
    'User-Agent': '',
}

request = urllib.request.Request(url, headers=headers)

# 获取handler对象
handler = urllib.request.HTTPHandler()
# 通过获取opener对象
opener = urllib.request.build_opener(handler)
# 调用open方法
response = opener.open(request)

content = response.read().decode('utf-8')
print(content)