爬虫第三关——BeautifulSoup模块

爬虫第三关——BeautifulSoup模块

爬虫四步走：

1. 获取数据：requests模块
2. 解析数据：BeautifulSoup模块 + HTML基本知识
3. 提取数据
4. 储存数据

学习目标：学会使用BeautifulSoup解析和提取网页中的数据
问题一：什么是解析数据？
就好像浏览器，发出请求，得到来自服务器的响应，解析服务器发送的html文件，展现给我们网页。
爬虫也需要能够读懂html文件的工具，读懂了html文件就可以进行数据提取。
问题二：什么是数据提取？
就是大浪淘沙，得到真金白银

BeautifulSoup的使用：

BeautifulSoup库是第三方库函数，所以需要单独下载，windows版是在终端处输入：pip install BeautifulSoup4
即可。但是前提是你要先下载pip。

解析数据：

用法：

from bs4 import BeautifulSoup
BeautifulSoup(要解析的文本，'解析器')

首先，由requests库的requests.get(URL)可以获得目标网页的html源代码。
其次，用requests库的requests.text实现字符串化。得到的字符串就是目标解析文本。
最后，输入python内置库的一个解析器：html.parser
注意：html.parser解析器不是唯一一个网页解析器，但是是最简单的一个。
例子：

import requests
from bs4 import