爬虫必备Beautiful Soup （bs4）模块入门

最新推荐文章于 2023-09-27 17:41:19 发布

Mr_fengzi

最新推荐文章于 2023-09-27 17:41:19 发布

阅读量501

点赞数

分类专栏：爬虫文章标签： Beautiful Soup BS4

本文链接：https://blog.csdn.net/Mr_fengzi/article/details/98870226

版权

爬虫专栏收录该内容

5 篇文章 1 订阅

订阅专栏

什么是Beautiful Soup？
和 lxml 一样，Beautiful Soup 也是一个HTML/XML的解析器，主要的功能也是如何解析和提取 HTML/XML 数据，lxml 只会局部遍历，而Beautiful Soup 是基于HTML DOM的，会载入整个文档，解析整个DOM树，因此时间和内存开销都会大很多，所以性能要低于lxml。BeautifulSoup 用来解析 HTML 比较简单，API非常人性化，支持CSS选择器、Python标准库中的HTML解析器，也支持 lxml 的 XML解析器。

Beautiful Soup 是一个可以从HTML或XML文件中提取数据的Python库。它能够通过你喜欢的转换器实现惯用的文档导航，查找，修改文档的方式。Beautiful Soup会帮你节省数小时甚至数天的工作时间。

我们简单来对比一下这个Python包：

抓取工具	速度	使用难度	安装难度
正则	最快	困难	无（内置）
BeautifulSoup	慢	最简单	简单
lxml	快	简单	一般

BS4的4种对象：
Beautiful Soup将复杂HTML文档转换成一个复杂的树形结构，每个节点都是Python对象，所有对象可以归纳为4种：Tag ， NavigableString ，BeautifulSoup，Comment 。

实例化BeautifulSoup对象
使用BeautifulSoup解析代码，能够得到一个 BeautifulSoup 的对象，并能按照标准的缩进格式的结构输出，实例代码如下：

from bs4 import BeautifulSoup

html = """
<html>
<head><title>story12345</title></head>
<body>
<p class="title" name="dromouse"><b>The Dormouse's story</b></p>
<p class="story">Once upon a time there were three little sisters; and their names were
<a href="http://example.com/elsie" class="sister" id="link1"><span>westos</span><!-- Elsie --></a>,
<a href="http://example.com/lacie" class="sister1" id="link2">python</a> and
<a href="http://example.com/tillie" class="sister" id="link3">Java</a>;
and they lived at the bottom of a well.</p>
<p class="story">...</p>
"""

soup = BeautifulSoup(html, 'lxml')  # 使用lxml解析器进行解析，速度快。
print(soup.prettify())   # 按照指定的缩进格式补齐并显示html;

输出如下：
在这里插入图片描述

根据标签名称获取信息
仍然是根据上面的那段html做测试，测试代码如下：

soup = BeautifulSoup(html, 'lxml') 
print(soup.title)
print("网页的标题: ", soup.title.text)  # 获取指定标签里面的文本信息
print(soup.title.name)

输出结果如下：
在这里插入图片描述
获取的标签包含多个时，默认返回第一个（attrs可以获取标签的所有属性），并且获取指定标签的属性有3种方式，测试代码如下：

# 获取的标签包含多个时， 默认返回第一个;
print(soup.a)
# 获取指定标签的属性(3种)
print(soup.a['href'])
print(soup.a['class'])
print(soup.a['id'])
print(soup.a.get('id'))
# attrs获取a标签的所有属性
print(soup.a.attrs)

输出结果如下：
在这里插入图片描述

修改标签里面的属性信息
测试代码如下：

print(soup.a['href'])
soup.a['href'] = 'http://www.baidu.com'
print(soup.a)

输出如下：
在这里插入图片描述

找到符合条件的所有标签
可以可利用find_all查找符合条件的所有标签，测试代码如下：

tagObj = soup.find_all('a')
print(tagObj)
print(len(tagObj))

输出结果为：
在这里插入图片描述
当然也可以查找指定类名或id的标签，代码如下：

tagObj = soup.find_all('a', class_='sister')
print(tagObj)
print(len(tagObj))

tagObj = soup.find_all('a', id='link1')
print(tagObj)
print(len(tagObj))

输出结果如下：
在这里插入图片描述

Mr_fengzi

关注

0
点赞
踩
3

收藏

觉得还不错? 一键收藏
0
评论
爬虫必备Beautiful Soup （bs4）模块入门

什么是Beautiful Soup？和 lxml 一样，Beautiful Soup 也是一个HTML/XML的解析器，主要的功能也是如何解析和提取 HTML/XML 数据，lxml 只会局部遍历，而Beautiful Soup 是基于HTML DOM的，会载入整个文档，解析整个DOM树，因此时间和内存开销都会大很多，所以性能要低于lxml。BeautifulSoup 用来解析 HTML 比较简...
复制链接

扫一扫