03网页解析器

网页解析器

从网页中提取有价值数据的工具,也会提取到网页中所有的url，用于后续的访问。
也就是说网页解析器会将网页下载器得到的html网页字符串作为输入，最后提取到①价值数据②新URL列表（待爬取）

Python网页解析器

1.正则表达式(最直观，将网页当作是一个字符串，进行模糊匹配但如果对于较为复杂的文档，会相当复杂)

2.html.parser（python自带）

3.beautifulSoup（第三方插件）

4.lxml

其中，BeautifulSoup既可以使用html.parser又可以使用lxml作为它的解析器。

正则是通过模糊匹配来进行爬取数据，而2,3,4则是结构化解析进行爬取数据。

什么是结构化解析

DOM（Document Object Model）树，以树的形式进行上下级的遍历和访问
会将整个网页当作是一个Document对象