beautiful soup 4.0（bs4）基本应用(1)

1、概述

人工智能行业的发展是以大数据为基础的，在人工智能行业当中，数据比模型本身要重要的多。从一定程度上来讲大量优质的数据可以弥补模型的缺点。而大数据所所涉及的范畴会非常的广泛，有很多在垂直行业深耕很多年的企业会积累很多的行业数据。但这种企业毕竟是少数，很多情况下我们需要自己开发爬虫从互联网上抓取数据，而爬虫程序一个非常重要的环节就是对互联网上的网页进行分析，由于网页上的资料和形式千差万别，能够从这些文档中获取自己的数据就变得尤为重要。

bs4是python库主要用于对标记语言进行分析。而在爬虫程序中使用最多的场景是分析网页文档，也就是html文档。本文重要讲解bs4的基本用法。

2、安装

可以使用下面命令在linux系统中安装beautiful soup库

pip install beautifulsoup4

同时beautiful soup4.0 在支持不同的解析器，如下表所示

解析器	使用方法	优势	劣势
Python标准库	BeautifulSoup(markup, "html.parser")	Python的内置标准库 执行速度适中 文档容错能力强	Python 2.7.3 or 3.2.2)前 的版本中文档容错能力差
lxml HTML 解析器	BeautifulSoup(markup, "lxml")	速度快 文档容错能力强	需要安装C语言库
lxml XML 解析器	BeautifulSoup(markup, ["lxml-xml"]) BeautifulSoup(markup, "xml")	速度快 唯一支持XML的解析器