探索Python中的Beautiful Soup：网页数据解析利器

前端奇遇记

已于 2023-09-05 16:36:53 修改

阅读量629

点赞数

分类专栏： Python爬虫学习手札文章标签： python 爬虫

于 2023-09-05 15:53:23 首次发布

本文链接：https://blog.csdn.net/LaityMm/article/details/132693494

版权

Python爬虫学习手札专栏收录该内容

4 篇文章 3 订阅

订阅专栏

1️⃣ 简介

🔴 什么是Beautiful Soup？

官方解释如下：
Beautiful Soup提供一些简单的、python式的函数用来处理导航、搜索、修改分析树等功能。
它是一个工具箱，通过解析文档为用户提供需要抓取的数据，因为简单，所以不需要多少代码就可以写出一个完整的应用程序。

🟠 Beautiful Soup的优点和用途

👆简单易用：Beautiful Soup提供了直观的API，使得解析HTML和XML文档变得非常容易。
💪强大的解析功能： Beautiful Soup可以帮助你解析复杂的HTML和XML文档，轻松地导航和搜索文档中的元素，无论文档多么庞大或复杂。
✍灵活性： 它可以处理不完整或破损的HTML，具有一定的容错性，因此在处理真实世界的网页时非常有用。
👍支持多种解析器： Beautiful Soup支持多种解析器，包括Python标准库中的html.parser、lxml和第三方库html5lib，因此你可以根据需求选择最适合的解析器。
💻网页数据采集： Beautiful Soup通常与网络爬虫一起使用，用于抓取网页上的数据，例如新闻标题、商品信息、评论等。
📑数据清洗： 你可以使用Beautiful Soup来清洗和规范网页数据，去除不需要的标记或格式化数据以供进一步处理。
…

🟡 安装和导入Beautiful Soup

# pip install beautifulsoup4 安装
 
from bs4 import BeautifulSoup

Beautiful Soup支持Python标准库中的HTML解析器,还支持一些第三方的解析器，如果我们不安装它，则 Python 会使用 Python默认的解析器，lxml 解析器更加强大，速度更快，推荐安装。

pip install lxml

另一个可供选择的解析器是纯Python实现的 html5lib , html5lib的解析方式与浏览器相同,可以选择下列方法来安装html5lib:

pip install html5lib

解析器对比：

在这里插入图片描述

2️⃣ Beautiful Soup的基础用法

❗❗下面的一段HTML代码将作为例子被多次用到.这是 爱丽丝梦游仙境的 的一段内容(以后内容中简称为 爱丽丝 的文档):

html_doc = """
<html><head><title>The Dormouse's story</title></head>
<body>
<p class="title"><b>The Dormouse's story</b></p>

<p class="story">Once upon a time there were three little sisters; and their names were
<a href="http://example.com/elsie" class="sister" id="link1">Elsie</a>,
<a href="http://example.com/lacie" class="sister" id="link2">Lacie</a> and
<a href="http://example.com/tillie" class="sister" id="link3">Tillie</a>;
and they lived at the bottom of a well.</p>

<p class="story">...</p>
"""

🟥 从一个soup对象开始

将一段文档传入BeautifulSoup 的构造方法,就能得到一个文档的对象, 可以传入一段字符串或一个文件句柄.

from bs4 import BeautifulSoup
soup = BeautifulSoup(open("index.html"))    # 传入文件
soup = BeautifulSoup("<html>......</html>")   # 文本

构造soup对象时，可以传入解析器参数，如果不传入的话，会以最好的方式去解析

🟧 四种对象

Beautiful Soup将复杂HTML文档转换成一个复杂的树形结构,每个节点都是Python对象,所有对象可以归纳为4种: Tag , NavigableString , BeautifulSoup , Comment .

在学习以下内容时请先注意，我已经生成过了soup对象
# 获取soup对象，html_doc 是上面的爱丽丝的文档
soup = BeautifulSoup(html_doc, 'html.parser')

🟢 Tag

Tag 对象与XML或HTML原生文档中的tag相同:

tag_a = soup.a
print(tag_a)
# <a class="sister" href="http://example.com/elsie" id="link1">Elsie</a>
# 虽然文档中含有多个a标签，但是该用使用方法只会返回第一个匹配的tag

# 每个标签都有一个name
print(tag_a.name) # a
tag_a.name = 'test' # 给原来的a标签改名字
print(tag_a.name) # test
print(tag_a) # <test class="sister" href="http://example.com/elsie" id="link1">Elsie</test>

# tag Attributes tag的属性的操作方法与字典相同
print(tag_a['href']) # http://example.com/elsie
tag_p = soup.p
print(tag_p) # <p class="title"><b>The Dormouse's story</b></p>
print(tag_p['class']) # ['title'] 因为可能会存在多个class，所以这里是list

# 获取标签对象的文本内容
print(tag_p.text)
# 取到p下所有的文本内容,text属性更常用，并且它可以直接过滤掉注释
print(tag_p.string)  # p下的文本只有一个时，取到，否则为None
print(tag_p.strings) # 拿到一个生成器对象, 取到p下所有的文本内容
for item in tag_p.strings:
    print(item)

这种情况下，会产生Comment对象

markup = "<b><!--Hey, buddy. Want to buy a used parser?--></b>"
soup = BeautifulSoup(markup,"html.parser")
comment = soup.b.string
print(comment)
print(type(comment))

结果为：

Hey, buddy. Want to buy a used parser?
<class 'bs4.element.Comment'>

🔵 遍历文档树（导航文档树）

# 1、嵌套选择
print(soup.head.title.text)
print(soup.body.p.text)

# 2、子节点、子孙节点
print(soup.p.contents) # 获取p下所有子节点
print(soup.p.children)	# 得到一个迭代器,包含p下所有子节点
for child in soup.p.children:
    print(child)

print(soup.p.descendants)  # 获取子孙节点,p下所有的标签都会选择出来
for child in soup.p.descendants:
    print(child)
    
# 3、父节点、祖先节点
print(soup.a.parent)  # 获取a标签的父节点
print(soup.a.parent.text)  # 获取a标签的父节点
print(soup.a.parents)  # 找到a标签所有的祖先节点，父亲的父亲，父亲的父亲的父亲...

# 4、兄弟节点
print(soup.a.next_sibling)  # 下一个兄弟,类型：<class 'bs4.element.NavigableString'>
print(soup.a.next_sibling.next_sibling)
print(soup.a.previous_sibling.previous_sibling)
print(soup.a.previous_siblings)  # 上面的兄弟们=>生成器对象

🟡 搜索文档树

Beautiful Soup定义了很多搜索方法,这里着重介绍2个: find() 和 find_all() .其它方法的参数和用法类似,请读者举一反三.

🔸find_all

find_all( name , attrs , recursive , string , **kwargs )

▪ name参数

# 一、 name 四种过滤器: 字符串、正则表达式、列表、方法
# 1、字符串：即标签名
all_p = soup.find_all(name='p')
print(all_p)

# 2、正则表达式
all_a = soup.find_all(name=re.compile('^b'))  # 找出以b开头的全部标签，结果为body、b标签
print(all_a)

# 3、列表：如果传入列表参数,Beautiful Soup会将与列表中任一元素匹配的内容返回.下面代码找到文档中所有<a>标签和<b>标签:
print(soup.find_all(name=['a', 'b']))

# 4、方法:如果没有合适过滤器,那么还可以定义一个方法,方法只接受一个元素参数 ,如果这个方法返回 True 表示当前元素匹配并且被找到,如果不是则反回 False
def has_class_and_id(tag):
    return tag.has_attr('class') and tag.has_attr('id')

print(soup.find_all(name=has_class_and_id)) # 获取含有class、id的标签

▪ keyword 参数

print(soup.find_all(href="http://example.com/tillie"))
print(soup.find_all(href=re.compile("^http://")))
print(soup.find_all(id=True)) # 拥有id属性的tag
print(soup.find_all(href=re.compile("http://"), id='link1')) # 多个属性
print(soup.find_all("a", class_="sister")) # 注意，class是Python的关键字，所以class属性用class_
print(soup.find_all("a",attrs={"href": re.compile("^http://"), "id": re.compile("^link[12]")}))

▪ limit 参数

find_all() 方法返回全部的搜索结构,如果文档树很大那么搜索会很慢.如果我们不需要全部结果,可以使用 limit 参数限制返回结果的数量.效果与SQL中的limit关键字类似,当搜索到的结果数量达到 limit 的限制时,就停止搜索返回结果.

print(soup.find_all("a",limit=2))

▪ recursive 参数

调用tag的 find_all() 方法时,Beautiful Soup会检索当前tag的所有子孙节点,如果只想搜索tag的直接子节点,可以使用参数 recursive=False

🔹 find

find( name , attrs , recursive , string , **kwargs )

find_all() 方法将返回文档中符合条件的所有tag,尽管有时候我们只想得到一个结果.比如文档中只有一个标签,那么使用 find_all() 方法来查找标签就不太合适, 使用 find_all 方法并设置 limit=1 参数不如直接使用 find() 方法.下面两行代码是等价的:

soup.find_all('title', limit=1)
# [<title>The Dormouse's story</title>]

soup.find('title')
# <title>The Dormouse's story</title>

唯一的区别是 find_all() 方法的返回结果是值包含一个元素的列表,而 find() 方法直接返回结果.find_all() 方法没有找到目标是返回空列表, find() 方法找不到目标时,返回 None .

soup.head.title 是 tag的名字方法的简写.这个简写的原理就是多次调用当前tag的 find() 方法:

soup.head.title
# <title>The Dormouse's story</title>

soup.find("head").find("title")
# <title>The Dormouse's story</title>

🟣 Css选择器

seclet

css选择器的方法为select(css_selector)
css选择器可以参考CSS参考手册

以下代码仅展示部分选择功能：

soup.select("title")
# [<title>The Dormouse's story</title>]

soup.select("html head title")
# [<title>The Dormouse's story</title>]

soup.select(".sister")
# [<a class="sister" href="http://example.com/elsie" id="link1">Elsie</a>,
#  <a class="sister" href="http://example.com/lacie" id="link2">Lacie</a>,
#  <a class="sister" href="http://example.com/tillie" id="link3">Tillie</a>]

soup.select("#link1")
# [<a class="sister" href="http://example.com/elsie" id="link1">Elsie</a>]

soup.select('a[href]')
# [<a class="sister" href="http://example.com/elsie" id="link1">Elsie</a>,
#  <a class="sister" href="http://example.com/lacie" id="link2">Lacie</a>,
#  <a class="sister" href="http://example.com/tillie" id="link3">Tillie</a>]

select_one

返回查找到的元素的第一个

3️⃣ 网页数据提取示例

页面获取地址：豆瓣电影TOP250

本篇文章只为讲述BeautifulSoup的应用，案例比较简单，仅用于巩固BeautifulSoup的使用，所以取页面的时候就直接选择简单粗暴地方法，打开页面后右键查看网页源代码，直接复制存储到本地🤗

获取信息： 在这里插入图片描述

from bs4 import BeautifulSoup

soup = BeautifulSoup(open('写你的文件地址', encoding='utf-8'), 'html.parser')

ol = soup.find('ol', class_='grid_view') # 获取到电影数据最外层的标签
# print(ol)

item_list = ol.find_all(class_='item') # 获取每个电影信息外层信息

for item in item_list:
    # print('⭕',item)
    print(item.select_one('.info .hd .title').text) # 获取电影名称
    print(item.select_one('.info .bd .rating_num').text) # 获取电影评分
    # ...更多感兴趣的可以自己尝试呦😋

4️⃣ 写在最后

本编文章仅展示Beautiful Soup部分功能，更强大、更有意思的使用方法可详看文档：Beautiful Soup 4.4.0 文档

如果您有任何问题、建议或反馈，欢迎在评论区留言📝，非常愿意听取您的声音。感谢您的阅读，期待与您在未来的博客分享中再次相会🥳！

前端奇遇记

关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
打赏
0
评论
探索Python中的Beautiful Soup：网页数据解析利器

Beautiful Soup是一个可以从HTML或XML文件中提取数据的Python库.它能够通过你喜欢的转换器实现惯用的文档导航,查找,修改文档的方式.Beautiful Soup会帮你节省数小时甚至数天的工作时间.
复制链接

扫一扫