Python爬虫——urllib_handler处理器的基本使用

handler处理器：定制更高级的请求头

import urllib.request

url = 'http://www.baidu.com'

headers = {
    'User-Agent': '',
}

request = urllib.request.Request(url, headers=headers)

# 获取handler对象
handler = urllib.request.HTTPHandler()
# 通过获取opener对象
opener = urllib.request.build_opener(handler)
# 调用open方法
response = opener.open(request)

content = response.read().decode('utf-8')
print(content)