12_URL下载器实现

---

博文配套视频课程：24小时实现从零到AI人工智能

---

网页下载器原理

将互联网上URL对应的网页下载到本地的工具，返回的是HTML代码，后续的解析器就是通过解析HTML代码然后获取有价值的数据。这些有价值的数据可以存储到关系数据库、CSV、大数据甚至在内存中直接进行处理

PoolManager获取网页数据

urllib3爬虫的基础模块,支持自动登录、Cookie等功能。可以通过urlib3与服务器交互并且发送一个请求返回的是请求地址对应的html源码

from urllib3.poolmanager import PoolManager
from urllib3 import HTTPResponse

http = PoolManager()
# 创建一个get/post请求
res = http.request('get','http://www.163.com')
# 如果正在返回的状态码为200
print(res.status)
# 根据请求的页面设置指定的解析编码，缺省为utf-8
print(res.data.decode(encoding="gbk"))

添加Headers获取数据

如果发送请求时配置的是移动客户端的相关参数，返回就是移动端的数据

from urllib3.poolmanager import PoolManager

http = PoolManager()
res = http.request('get','http://www.163.com',headers={
    'User-Agent' : 'Mozilla/5.0 (Linux; Android 6.0; Nexus 5 Build/MRA58N)'
})
print(res.status)
print(res.data.decode())

下载器代码实现

# 导入urllib3包下面的poolmanager模块,然后加载模块里面PoolManager类
from urllib3.poolmanager import PoolManager
from urllib3 import HTTPResponse
from urllib.parse import urljoin

# 必须传入下载的url地址,返回html源码
def down_html(url, encoding,method="get"):
    pm = PoolManager()
    res: HTTPResponse = pm.request(method=method, url=url)
    if res.status == 200:
        return res.data.decode(encoding=encoding)
    else:
        return None

if __name__ == "__main__":
    print(down_html(url="http://www.163.com", encoding="gbk"))