Python 爬虫handler和opener

urlopen()方法不支持代理、cookie等其他的HTTP/HTTPS高级功能

1. 最基础的用法

    import urllib.request
    import urllib.parse
    
    url = "http://www.baidu.com/"
    headers = {
        'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/78.0.3902.4 Safari/537.36',
    }
    
    # 创建处理器对象
    handler = urllib.request.HTTPHandler()
    
    # 创建opener对象
    opener = urllib.request.build_opener(handler)
    
   # 如果程序里所有的请求都使用自定义的opener，可以使用urllib.request.install_opener() 将自定义的 opener 对象 定义为 全局opener，表示之后凡是调用urlopen，都将使用这个opener来打开
   
    urllib.request.install_opener(opener)  #安装一个全局的打开器(这一步可选不安装采用默认)
    
    # 构造对象
    request = urllib.request.Request(url=url, headers=headers)
    
    # 这里就不需要使用urlopen, 直接使用opener对象的open方法
    response = opener.open(url)
    
    with open('test.html', 'w', encoding="utf-8") as fp:
        fp.write(response.read().decode())