Python爬虫入门案例3：使用handler处理器访问baidu

为什么要使用handler处理器？

因为我们之前使用的urlopen无法使用动态cookie和代理来访问网站

下面用一个例子来演示handler的基本使用

记住三个口诀：

handler      build_opener   open

import urllib.request


url='http://www.baidu.com'
headers={
     #这里填自己的ua
    "User-Agent":""
}
#handler   build_opener    open
req=urllib.request.Request(headers=headers,url=url)
#获取handler对象
handler=urllib.request.HTTPSHandler()
#获取opener对象
opener=urllib.request.build_opener(handler)
#调用open方法
resp=opener.open(req)
content=resp.read().decode("utf-8")
print(content)

就可以成功获取baidu的html代码了