urllib中的handler

一些网页在反爬手段中加了cookies这个选项，每次爬取网站需要传入cookie信息，但是当网页的反爬手段是动态cookie的时候，输入静态cookie就不管用了，这个问题的解决方法就是handler处理器
下面的代码爬取了百度的网页源码，通过handler对象，可以获取到动态的cookie

# 需求： 使用handler访问百度，获取网页源码

import urllib.request

url = "http://www.baidu.com"

headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/97.0.4692.99 Safari/537.36'
}

request = urllib.request.Request(url = url, headers = headers)

# handler       build_opener        open

# 1：获取handler对象
handler = urllib.request.HTTPHandler

# 2： 获取opener对象
opener = urllib.request.build_opener(handler)

# 3： 调用open方法
response = opener.open(request)

content = response.read().decode('utf-8')

print(content)