Python使用urllib,urllib3,requests库+beautifulsoup爬取网页

笔者使用的是python 3.8.1

urllib

urllib提供了一系列用于操作URL的功能。
urllib的request模块可以非常方便地抓取URL内容，也就是发送一个GET请求到指定的页面，然后返回HTTP的响应。

使用pip下载:

pip install urllib

例如对百度搜索界面的抓取(www.baidu.com)

#!/usr/bin/python
# -*- coding: UTF-8 -*-
import urllib
from urllib import request
if __name__ == "__main__":
	headers = {
   
            'Connection': 'Keep-Alive',
            'Accept': 'text/html, application/xhtml+xml, */*',
            'Accept-Language': 'en-US,en;q=0.8,zh-Hans-CN;q=0.5,zh-Hans;q=0.3',
            'Accept-Encoding': 'gzip, deflate',
            'User-Agent': 'Mozilla/6.1 (Windows NT 6.3; WOW64; Trident/7.0; rv:11.0) like Gecko',
            'Host': 'www.so.com',
            'Referer': 'https://www.so.com'
        }
    respond = urllib.request.urlopen('http://www.baidu.com', headers=headers)
    print(respond.read().decode('utf-8'))

参考网站:
廖雪峰的官方网站

urllib3

urllib3是一个功能强大且友好的Python HTTP客户端。大多数Python生态系统已经使用urllib3，您也应该使用。urllib3带来了Python标准库中缺少的许多关键功能：

线程安全。
连接池。
客户端SSL / TLS验证。
使用分段编码上传文件。
重试请求和处理HTTP重定向的助手。
支持gzip，deflate和brotli编码。
HTTP和SOCKS的代理支持。
100％的测试覆盖率。
urllib3功能强大且易于使用：
下载：

pip install urllib3

例如抓取百度搜索界面(www.baidu.com)

#!/usr/bin/python
# -*- coding: UTF-8 -*-
import urllib3

if __name__ == "__main__":
    http = urllib3.PoolManager()
    headers = {
   
        'Connection': 'Keep-Alive',
        'Acc