1、概述
人工智能行业的发展是以大数据为基础的,在人工智能行业当中,数据比模型本身要重要的多。从一定程度上来讲大量优质的数据可以弥补模型的缺点。而大数据所所涉及的范畴会非常的广泛,有很多在垂直行业深耕很多年的企业会积累很多的行业数据。但这种企业毕竟是少数,很多情况下我们需要自己开发爬虫从互联网上抓取数据,而爬虫程序一个非常重要的环节就是对互联网上的网页进行分析,由于网页上的资料和形式千差万别,能够从这些文档中获取自己的数据就变得尤为重要。
bs4是python库主要用于对标记语言进行分析。而在爬虫程序中使用最多的场景是分析网页文档,也就是html文档。本文重要讲解bs4的基本用法。
2、安装
可以使用下面命令在linux系统中安装beautiful soup库
pip install beautifulsoup4
同时beautiful soup4.0 在支持不同的解析器,如下表所示
解析器 | 使用方法 | 优势 | 劣势 |
---|---|---|---|
Python标准库 | BeautifulSoup(markup, "html.parser") |
|
|
lxml HTML 解析器 | BeautifulSoup(markup, "lxml") |
|
|
lxml XML 解析器 |
|
|