使用Beautiful Soup来解析网页数据

已于 2024-05-19 12:19:46 修改
阅读量690 收藏 15
点赞数 23
分类专栏： Python爬虫学习 文章标签： python 爬虫 开发语言
于 2024-05-18 20:30:44 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/2301_80263861/article/details/139030949
版权

Beautiful Soup解析

阅读指导：
这篇文章详细讲解了Beautiful Soup解析的方法。每个方法都配有相应的代码示例，读者可以通过本文更深入地了解Beautiful Soup。由于文章篇幅较长，建议通过目录选择您感兴趣的部分进行学习。

2. Beautiful Soup

Beautiful Soup提供了简单易用的 API 来导航、搜索和修改解析树。Beautiful Soup 通过将复杂的 HTML 文档转换为一个树形结构，使得解析和操作 HTML 内容变得更加方便。

其优点是：

  • 强大的文档解析能力
  • 多种解析器支持
  • 灵活的节点搜索和导航功能

2.1 初步使用

使用实例：

<!--假设这是某个网页页面的页面代码，页面链接为 URL -->
<html><head><title>The Dormouse's story</title></head>
<body>
	<p class="title" name="dromouse"><b>The Dormouse's story</b></p>
	<p class="story">
	Once upon a time there were three little sisters; and 	their names were
	<a href="http://example.com/elsie" class="sister" id="link1">
		<!--Elsie -->
	</a>,
	<a href="http://example.com/lacie" class="sister" id="link2">
		Lacie
	</a> and
<a href="http://example.com/tillie" class="sister" id="link3">Tillie</a>;
and they lived at the bottom of a well.</p>
<p class="story">...</p>

获取代码：

from bs4 import BeautifulSoup
import requests
url = "URL"
html= requests.get(url)
soup = BeautifulSoup(html, 'lxml')
print(soup.prettify())
print(soup.title.string)

输出：

<html>
 <head>
  <title>
   The Dormouse's story
  </title>
 </head>
 <body>
  <p class="title" name="dromouse">
   <b>
    The Dormouse's story
   </b>
  </p>
  <p class="story">
   Once upon a time there were three little sisters; and their names were
   <a class="sister" href="http://example.com/elsie" id="link1">
    <!-- Elsie -->
   </a>
   ,
   <a class="sister" href="http://example.com/lacie" id="link2">
    Lacie
   </a>
   and
   <a class="sister" href="http://example.com/tillie" id="link3">
    Tillie
   </a>
   ;
and they lived at the bottom of a well.
  </p>
  <p class="story">
   ...
  </p>
 </body>
</html>

The Dormouse's story

代码解释：
soup.prettify()该方法，将要解析的字符串以标准的缩进格式输出。
soup.title.string通过string属性，输出title标签里面的文字

2.2 节点选择器

       使用 . 的方式依次按层级的向下访问，当出现有同样多个节点的时候，只会匹配到第一个节点而忽略后面的结点。

例：

<!--./html-->
<html><head><title>The Dormouse's story</title></head>
<body>
<p class="title" name="dromouse"><b>The Dormouse's story</b></p>
<p class="story">Once upon a time there were three little sisters; and their names were
<a href="http://example.com/elsie" class="sister" id="link1"><!-- Elsie --></a>,
<a href="http://example.com/lacie" class="sister" id="link2">Lacie</a> and
<a href="http://example.com/tillie" class="sister" id="link3">Tillie</a>;
and they lived at the bottom of a well.</p>
<p class="story">...</p>

获取代码：

from bs4 import BeautifulSoup

soup = BeautifulSoup(html, 'lxml')
print(soup.title)
print(type(soup.title))
print(soup.title.string)
print(soup.head)
print(soup.p)

输出：

<title>The Dormouse's story</title>
<class 'bs4.element.Tag'>
The Dormouse's story
<head><title>The Dormouse's story</title></head>
<p class="title" name="dromouse"><b>The Dormouse's story</b></p>

输出解释：
<class ‘bs4.element.Tag’>这个类型是Beautiful Soup中一个很重要的数据结构，经过选择器的选择后，都是这种Tag类型，并且里面有很多属性也是很常用的，比如strig等。

 
 
以下的对数据的获取方式，都是基于<class ‘bs4.element.Tag’>这个Tag类型开展的。

2.2.1 节点选择器获取名称

利用name属性来获取节点的名称
注意：这个名称是标签名

例：

<!--html-->
<html><head><title>The Dormouse's story</title></head>

获取代码：

print(soup.title.name)

输出：

title

2.2.2 节点选择器获取属性

利用attars来获取一个元素的属性

返回的是一个字典，并且键值对里面的值部分，要注意其数据类型

例：

<!--./html-->
<html><head><title>The Dormouse's story</title></head>
<body>
<p class="title" name="dromouse"><b>The Dormouse's story</b></p>
<p class="story">Once upon a time there were three little sisters; and their names were
<a href="http://example.com/elsie" class="sister" id="link1"><!-- Elsie --></a>,
<a href="http://example.com/lacie" class="sister" id="link2">Lacie</a> and
<a href="http://example.com/tillie" class="sister" id="link3">Tillie</a>;
and they lived at the bottom of a well.</p>
<p class="story">...</p>

获取代码：

from bs4 import BeautifulSoup

soup = BeautifulSoup(html, 'lxml')

print(soup.p.attrs)
print(soup.p.attrs["name"])
print(soup.p.attrs["class"])

输出：

{'class': ['title'], 'name': 'dromouse'}
dromouse
['title']

2.2.3 节点选择器获取内容

使用string属性来获取元素的内容

例：

<!--html-->
<html><head><title>The Dormouse's story</title></head>

获取代码：

soup = BeautifulSoup(html, 'lxml')
print(soup.title.string)

输出：

The Dormouse's story

2.2.4 节点选择器的嵌套选择

使用 . 来对Tag类型的对象继续向下做进一步的选择或处理

<!--html-->
<html><head><title>The Dormouse's story</title></head>
<body>

获取代码：

from bs4 import BeautifulSoup
soup = BeautifulSoup(html, 'lxml')
print(soup.head.title)
print(type(soup.head.title))
print(soup.head.title.string)

输出：

<title>The Dormouse's story</title>
<class 'bs4.element.Tag'>
The Dormouse's story

2.3 方法选择器

find_all查询所有符合条件的元素
基本语法：
find_all(name, attrs, recursive, text, **kwarge)

 

下面进行深度讲解：

2.3.1 方法选择器获取名称

使用name属性来获取

例：

<!--html-->
<div class="panel">
    <div class="panel-heading">
        <h4>Hello</h4>
    </div>
    <div class="panel-body">
        <ul class="list" id="list-1">
            <li class="element">Foo</li>
            <li class="element">Bar</li>
            <li class="element">Jay</li>
        </ul>
        <ul class="list list-small" id="list-2">
            <li class="element">Foo</li>
            <li class="element">Bar</li>
        </ul>
    </div>
</div>

获取代码：

from bs4 import BeautifulSoup
soup = BeautifulSoup(html, 'lxml')
print(soup.find_all(name='ul'))
print()
print(type(soup.find_all(name='ul')[0]))
print()
for ul in soup.find_all(name='ul'):
    print(ul.find_all(name='li'))
print()
for ul in soup.find_all(name='ul'):
    print(ul.find_all(name='li'))
    for li in ul.find_all(name='li'):
        print(li.string)

输出：

[<ul class="list" id="list-1">
<li class="element">Foo</li>
<li class="element">Bar</li>
<li class="element">Jay</li>
</ul>, <ul class="list list-small" id="list-2">
<li class="element">Foo</li>
<li class="element">Bar</li>
</ul>]

<class 'bs4.element.Tag'>

[<li class="element">Foo</li>, <li class="element">Bar</li>, <li class="element">Jay</li>]
[<li class="element">Foo</li>, <li class="element">Bar</li>]

[<li class="element">Foo</li>, <li class="element">Bar</li>, <li class="element">Jay</li>]
Foo
Bar
Jay
[<li class="element">Foo</li>, <li class="element">Bar</li>]
Foo
Bar

2.3.2 方法选择器获取属性

第一种：使用attrs来对节点的属性进行查询，这是比较普遍使用的方式

例：
获取 id 属性值为 “list-1” 和 name 属性为 “eLements” 的节点

<!--html-->
<div class="panel">
    <div class="panel-heading">
        <h4>Hello</h4>
    </div>
    <div class="panel-body">
        <ul class="list" id="list-1" name="elements">
            <li class="element">Foo</li>
            <li class="element">Bar</li>
            <li class="element">Jay</li>
        </ul>
        <ul class="list list-small" id="list-2">
            <li class="element">Foo</li>
            <li class="element">Bar</li>
        </ul>
    </div>
</div>

获取代码：

from bs4 import BeautifulSoup
soup = BeautifulSoup(html, 'lxml')
print(soup.find_all(attrs={'id': 'list-1'}))
print()
print(soup.find_all(attrs={'name': 'elements'}))
print()

输出：

[<ul class="list" id="list-1" name="elements">
<li class="element">Foo</li>
<li class="element">Bar</li>
<li class="element">Jay</li>
</ul>]

[<ul class="list" id="list-1" name="elements">
<li class="element">Foo</li>
<li class="element">Bar</li>
<li class="element">Jay</li>
</ul>]

第二种：对于class，id这种常用属性，可以直接使用

from bs4 import BeautifulSoup
soup = BeautifulSoup(html, 'lxml')
print(soup.find_all(id='list-1'))
print()
print(soup.find_all(class_='element'))

输出：

[<ul class="list" id="list-1" name="elements">
<li class="element">Foo</li>
<li class="element">Bar</li>
<li class="element">Jay</li>
</ul>]

[<li class="element">Foo</li>, <li class="element">Bar</li>, <li class="element">Jay</li>, <li class="element">Foo</li>, <li class="element">Bar</li>]

2.3.3 方法选择器获取内容

在find_all中使用 string 参数，对 string 赋值为正则表达式来获取元素的文字，不要用text参数，这个已经被废除

例：

<!--html-->
<div class="panel">
    <div class="panel-body">
        <a>Hello, this is a link</a>
        <a>Hello, this is a link, too</a>
    </div>
</div>

获取代码：

import re
from bs4 import BeautifulSoup
soup = BeautifulSoup(html, 'lxml')
print(soup.find_all(string=re.compile("link")))

输出：

['Hello, this is a link', 'Hello, this is a link, too']

2.3.4 查询第一个符合的元素

采用 find方式 ，这与find_all的获取数据的方式相同，只是范围不同罢了，find只查询符合条件的第一个元素。

2.4 css选择器

使用select方式获取元素，其获取数据的方式也find_all类似

例：
我们要使用 CSS 选择器来提取所有链接和列表项

<!--html-->
<html>
  <head>
    <title>Example Page</title>
  </head>
  <body>
    <div class="panel">
      <div class="panel-body">
        <a href="http://example.com/link1" class="link">Link 1</a>
        <a href="http://example.com/link2" class="link">Link 2</a>
      </div>
    </div>
    <ul id="list">
      <li class="item">Item 1</li>
      <li class="item">Item 2</li>
      <li class="item">Item 3</li>
    </ul>
  </body>
</html>

获取代码：

from bs4 import BeautifulSoup
soup = BeautifulSoup(html, 'lxml')

# 使用 CSS 选择器选择所有链接
links = soup.select('a.link')
for link in links:
    print(link.get_text(), link['href'])

# 使用 CSS 选择器选择所有列表项
items = soup.select('ul#list li.item')
for item in items:
    print(item.get_text())

输出：

Link 1 http://example.com/link1
Link 2 http://example.com/link2
Item 1
Item 2
Item 3

代码解释：

  • soup.select(‘a.link’)：选择所有带有class=“link” 的 < a > 标签。
  • link.get_text()：获取链接文本。
  • link[‘href’]：获取链接的 href 属性值。
  • soup.select(‘ul#list li.item’)：选择
    • 标签中带有 id=“list” 的所有

    • 标签，并且这些
    • 标签带有 class=“item”。

常见的css选择器

表示描述例子
tag选择所有指定标签的元素。例如：div。
.class选择所有指定类的元素。例如：.panel-body。
#id选择所有指定 ID 的元素。例如：#list。
tag.class选择指定标签且带有指定类的元素。例如：a.link。
tag#id选择指定标签且带有指定 ID 的元素。例如：ul#list。
tag[attr=value]选择指定标签且带有指定属性值的元素。例如：a[href=“http://example.com/link1”]。
parent > child选择所有指定父标签的直接子标签。例如：div > a。
ancestor descendant选择所有指定祖先标签的后代标签。例如：div a。
Alfredorw
关注
  • 23
    点赞
  • 踩
  • 15
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
使用Beautiful Soup库解析网页
shield911的博客
09-26 3700
使用bs4库解析网页数据
使用Beautiful Soup解析网页
Smart_J_King的博客
09-24 2299
3 使用Beautiful Soup解析网页 Beautiful Soup是一个可以从HTML或XML文件中提取数据的Python库。目前Beautiful Soup 3已经停止开发，大部分的爬虫选择使用Beautiful Soup 4开发。Beautiful Soup不仅支持Python标准库中的HTML解析器，还支持一些第三方的解析器，具体语法如下。 lxml解析器比较常用。 3.1 创建BeautifulSoup对象 要使用Beautiful Soup库解析网页首先需要创建Beauti
02网络爬虫-使用 Beautiful Soup 解析网页
鸣鼓ming的博客
01-09 2282
接着上一篇博客的学习 https://blog.csdn.net/qq_41865229/article/details/121546222 1.安装Beautiful Soup 通过 requests 库已经可以抓到网页源码，接下来要从源码中找到并提取数据。Beautiful Soup 是 python 的一个库，其最主要的功能是从网页中抓取数据。Beautiful Soup 目前已经被移植到 bs4 库中，也就是说在导入 Beautiful Soup 时需要先安装 bs4 库。 在终端执行安装命令 p
探索Python中的Beautiful Soup：网页数据解析利器
前端驰骋，技艺飞升，奇遇尽在其中！
09-05 632
Beautiful Soup是一个可以从HTML或XML文件中提取数据的Python库.它能够通过你喜欢的转换器实现惯用的文档导航,查找,修改文档的方式.Beautiful Soup会帮你节省数小时甚至数天的工作时间.
网页数据的解析提取（Beautiful Soup库详解）
在猴站学算法
02-22 1623
简单来说, Beautiful Soup 是 Python的一个 HTML 或XML 的解析库, 我们用它可以方便地从网页中提取数据， 其官方解释如下：Beautiful Soup 提供一些简单的、Python 式的函数来处理导航、搜索、修改分析树等功能。它是一个工具箱，通过解析文档为用户提供需要抓取的数据， 因为简单， 所以无须很多代码就可以写出一个完整的应用程序。Beautiful Soup 自动将输入文档转换为Unicode 编码, 将输出文档转换为 utf-8编码。
网页数据解析与爬取----Beautiful Soup
weixin_45960356的博客
08-22 1610
网页数据解析与提取----Beautiful Soup
使用Beautiful Soup 解析网页
qq_72332648的博客
03-28 27
使用Beautiful Soup 解析网页
Beautiful soup解析和提取数据
m0_46093829的博客
08-23 3305
现在来看beautifulsoup库 Beautiful是Python的一个HTML或XML解析器，你可以直接通过html中标签和属性的名字直接查找相应的标签也可进一步查找标签中的内容。接下来具体来看一下： 一、安装beautiful 二、解析并获取网页中想要的内容 官方文档是这样介绍Beautiful Soup的：Beautiful Soup将复杂HTML文档转换成一个复杂的树形结构,每个标签都对应一个节点，还需注意的是标签中元素内容对应为元素节点；并且每个标签都是Python对象,所有对象可以.
网页版微博HTML解析和提取,使用Beautiful Soup抽取网页数据，解析微博用户关注信息...
weixin_29577885的博客
06-21 947
本文介绍了Beautiful Soup，PYTHON实现的HTML/XML标记的解析器；简要描述了Beautiful Soup的安装以及使用；最后以抽取微博用户关注信息为例详细的演示了如何使用Beautiful Soup。什么是Beautiful SoupBeautiful Soup是用PYTHON实现的HTML/XML标记的解析器。它提供简单和通用的方法对HTML/XML语法树进行浏览(navi...
面向新手解析python Beautiful Soup基本用法
09-16
通过学习和实践，你可以快速掌握如何使用它来解析和操作HTML和XML文档，进而实现各种网页数据的抓取任务。对于初学者来说，Beautiful Soup的易用性和强大的功能使其成为学习网页抓取的理想起点。
Python 爬虫入门的教程之Beautiful Soup解析
11-21
本教程主要讲解 Python 爬虫入门知识，通过 Beautiful Soup 解析网页，抓取中国旅游网首页信息，了解网页结构，使用 requests 库抓取网站数据，并进行数据清洗和组织。 一、了解网页结构 网页结构主要由三部分组成...
Python 爬虫之Beautiful Soup模块使用指南
09-20
创建好`soup`对象后，我们可以使用各种方法来探索和提取数据。例如，获取`title`标签： ```python soup.title # 输出：<title>The Dormouse's story ``` 进一步，我们可以获取`title`标签的名称和文本内容： ```...
Python 使用Beautiful Soup 爬虫教程.pdf
05-08
**Python使用Beautiful Soup爬虫教程** Beautiful Soup是一个强大的Python库，专门用于从HTML和XML文档中提取数据。它提供了一种简单易用的接口，帮助开发者解析和导航复杂的网页结构。在本教程中，我们将深入探讨...
Python使用Beautiful Soup爬取豆瓣音乐排行榜过程解析
01-01
要想学好爬虫，必须把基础打扎实，之前发布了两篇文章，分别是使用XPATH和requests爬取网页，今天的文章是学习Beautiful Soup并通过一个例子来实现如何使用Beautiful Soup爬取网页。 什么是Beautiful Soup ...
华为od机试真题 — 代表团坐车(Python)
学习,你不是一个人在战斗 ～ 961302305（QQ,微信）
07-17 574
【华为od机试真题 】代表团坐车(Python) 某组织举行会议，来了多个代表团同时到达，接待处只有一辆汽车可以同时接待多个代表团，为了提高车辆利用率，请帮接待员计算可以坐满车的接待方案输出方案数量。
【Python如何将字符串连接在一起并使用`join()`方法】
最新发布
qq_36253366的博客
07-19 175
方法是字符串对象的方法，而不是列表或元组等序列类型的方法。因此，你需要先指定一个用作分隔符的字符串，然后调用这个字符串的。方法将字符串连接在一起，你需要首先确保这些字符串被存储在一个序列类型中（如列表或元组），然后调用这个序列的。方法是一个字符串方法，它用于将序列（如列表、元组等）中的元素以指定的字符连接生成一个新的字符串。列表中的所有字符串元素使用空格作为分隔符连接成一个新的字符串。方法，并将你想要作为分隔符的字符串作为参数传递给。方法，并将包含要连接字符串的序列作为参数传递。
Python每日一题：回文数
xiongxiaoxuan的博客
07-16 273
回文数是指正序（从左向右）和倒序（从右向左）读都是一样的整数。例如，121 是回文，而 123 不是。给你一个整数 x ，如果 x 是一个回文整数，返回 true；否则，返回 false。解释：从左向右读, 为 -121。从右向左读, 为 121-。因此它不是一个回文数。先将整数x转化为字符串形式，判断x和它的反转形态是否完全相等。解释：从右向左读, 为 01。需注意：True和False首字母大写！提示：-231
使用 Beautiful Soup 解析网页；
06-02
Beautiful Soup 是一个用于网页解析的 Python 库，可以方便地从 HTML 或 XML 文件中提取数据。下面是一个简单的例子，演示如何使用 Beautiful Soup 解析网页： 首先，需要安装 Beautiful Soup 库。在命令行中执行...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值