【python】爬虫系列之爬虫解析器BeautifulSoup4

已于 2022-09-01 16:55:30 修改
阅读量981 收藏 5
点赞数
文章标签： java jvm servlet
于 2022-08-20 20:53:14 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/sinat_41752325/article/details/126444246
版权

​目录

 一、BeautifulSoup4库简单介绍

二、beautifulsoup4的使用

1. 基础操作

2. 对象种类

3. find_all()搜索文档树

4. CSS选择器

活动地址：CSDN21天学习挑战赛

**

学习日记 Day18

**

 一、BeautifulSoup4库简单介绍

BeautifulSoup4是一个可以从HTML或XML中提取数据的python库。它能够通过你喜欢的转换器实现管用的文档导航、查找、修改文档的方式。BeautifulSoup会帮你节省数小时甚至数天的工作时间。

BeautifulSoup4将网页转换为一颗DOM树：

 ⚪ 下载BeautifulSoup4模块

在cmd命令中输入pip install beautifulsoup4命令，安装即可。

⚪ beautifulsoup4解析库

BeautifulSoup在解析时实际上依赖解析器，它除了支持python标准库中的HTML解析器外，还支持一些第三方解析器（比如xml）：

解析器使用方法优势劣势
python标准库BeautifulSoup(html,'html.parser')pyhton内置标准库、执行速度适中、文档容错能力强python2.7.3及python3.2.2之前的版本文档容错能力差

lxml

HTML解析库

BeautifulSoup(html,'lxml')速度快、文档容错能力强需要安装C语言库
lxml XML解析库BeautifulSoup(html,'xml')速度快、唯一支持的XML的解析器需要安装C语言库
htm5lib解析库BeautifulSoup(html,'html5llib')最好的容错性、以浏览器的方式解析文档、生成HTMLS格式的文档速度慢、不依赖外部扩展

常用的解析器是lxml HTML解析器，其次是html5lib。

二、beautifulsoup4的使用

1. 基础操作

⚪ 读取HTML字符串

from bs4 import BeautifulSoup

html='''
<div class="panel">
    <div class="panel-heading">
        <h4>Hello</h4>
    </div>
    <div class="panel-body">
        <ul class="list" id="list-1" name="element">
            <li class="element">Foo</li>
            <li class="element">Bar</li>
            <li class="element">Jay</li>
        </ul>
        <ul class="list list-small" id="list-2">
            <li class="element">Foo</li>
                <a href="https://www.baidu.com">百度官网</a>
            <li class="element">Bar</li>
        </ul>
    </div>
</div>
'''

# 创建对象
soup = BeautifulSoup(html,'lxml')

⚪ 读取HTML文件

from bs4 import BeautifulSoup

# 创建对象
soup = BeautifulSoup(open('test.html'),'lxml')

⚪ 基本方法

from bs4 import BeautifulSoup

html='''
<div class="panel">
    <div class="panel-heading">
        <h4>Hello</h4>
    </div>
    <div class="panel-body">
        <ul class="list" id="list-1" name="element">
            <li class="element">Foo</li>
            <li class="element">Bar</li>
            <li class="element">Jay</li>
        </ul>
        <ul class="list list-small" id="list-2">
            <li class="element">Foo</li>
                <a href="https://www.baidu.com">百度官网</a>
            <li class="element">Bar</li>
        </ul>
    </div>
</div>
'''

# 创建对象
soup = BeautifulSoup(html,'lxml')

# 缩进格式
print(soup.prettify())  # 以缩进格式打印html字符串
print('*'*50)
# 获取title标签的所有内容
print(soup.title)

# 获取title标签的名称
print(soup.title.name)

# 获取title标签的文本内容
print(soup.title.string)

# 获取head标签的所有内容
print(soup.head)

# 获取第一个div标签中的所有内容
print(soup.div)

# 获取第一个div标签的id的值
print(soup.div['id'])

# 获取第一个a标签中的所有内容
print(soup.a)

# 获取所有的a标签中的所有的内容
print(soup.find_all('a'))

# 获取id='ul
print(soup.find(id='ul'))

# 获取所有的a标签，并遍历打印a标签的文本值
for item in soup.find_all('a'):
    print(item.get('href'))

# 获取所有的a标签，并遍历打印a标签的文本值
for item in soup.find_all('a'):
    print(item.get_text())

2. 对象种类

BeautifulSoup将复杂HTML文档转换成一个复杂的树形结构，每个节点都是python对象，所有对象可以归纳为4种：Tag，NavigableString，BeautifulSoup，Comment。

⚪ Tag，通俗说就是HTML种的一个个标签，比如：

soup = BeautifulSoup('<b class="boldest">Extremely bold</b>','lxml')
tag = soup.b
print(tag)
print(type(tag))

显示结果：

<b class="boldest">Extremely bold</b>
<class 'bs4.element.Tag'>

Tag有很多方法和属性，这里介绍tag种最重要的属性name和attributes。

name属性：

# 输出tag的name
print(tag.name)  # 打印 b
# 如果改变了tag的name，将影响所有通过当前Beautiful Soup对象生成的HTML文档
tag.name='b1'
print(tag)  # 打印 <b1 class="boldest">Extremely bold</b1>

Attributes属性：

# 获取class属性
print(tag['class'])  # 输出 ['boldest']

# 直接获取属性
print(tag.attrs)  # 输出 {'class': ['boldest']}

tag的属性可以被添加、修改和删除：

# 添加 id 属性
tag['id'] = 1
print(tag)

# 修改 class  属性
tag['class'] = 'tl1'
print(tag)

# 删除 class 属性
del tag['class']
print(tag)

显示结果：

<b1 class="boldest" id="1">Extremely bold</b1>
<b1 class="tl1" id="1">Extremely bold</b1>
<b1 id="1">Extremely bold</b1>

⚪ NavigableString，用.string获取标签内部的文字。

print(soup.b.string)  # 输出 Extremely bold
print(type(soup.b.string))  # 输出 <class 'bs4.element.NavigableString'>

⚪ BeautifulSoup，表示一个文档的内容，可以获取它的类型、名称以及属性。

print(soup.name)  # 输出 [document]
print(type(soup.name))  # 输出 <class 'str'>
print(soup.attrs)  # 文档本身的属性为空  输出 {}

⚪ Comment，是一个特殊类型的NavigableString对象，其输出的内容不包括注释符号。

print(soup.b)  # 输出 <b class="boldest">Extremely bold</b>
print(soup.b.string)  # 输出 Extremely bold
print(type(soup.b.string))  # 输出 <class 'bs4.element.NavigableString'>

3. find_all()搜索文档树

find_all(name,attrs,recursive,text,**kwargs)

⚪  参数name ：查找所有名字为name的tag，字符串对象会被自动忽略掉。

  • 匹配字符串：查找与字符串完整匹配的内容，如下用于查找文档中所有的<a>标签。
  • 匹配正则表达式：如果传入正则表达式作为参数，BeautifulSoup会通过正则表达式的match()来匹配内容。
  • 匹配列表：如果传入列表参数，BeautifulSoup会将与列表中任一元素匹配的内容返回
  • 示例：
  • from bs4 import BeautifulSoup
import re

html = '''
<div class="panel">
    <div class="panel-heading">
        <h4>Hello</h4>
    </div>
    <div class="panel-body">
        <ul class="list" id="list-1" name="element">
            <li class="element">Foo</li>
            <li class="element">Bar</li>
            <li class="element">Jay</li>
        </ul>
        <ul class="list list-small" id="list-2">
            <li class="element">Foo</li>
                <a href="https://www.baidu.com">百度官网</a>
            <li class="element">Bar</li>
        </ul>
    </div>
</div>
'''

soup = BeautifulSoup(html,'lxml')

# 查找与字符串完整匹配的内容
a_list = soup.find_all('a') 
print(a_list) 

#  返回所有表示<body>和<b>标签
for tag in soup.find_all(re.compile('^b')):
    print(tag.name) 

# 返回所有<ul>标签和<a>标签
print(soup.find_all(['ul','a']))

    显示结果：

  • [<a href="https://www.baidu.com">百度官网</a>]
body
PS E:\1_tempFile\1_learn_code\VSCode\python_test> & D:/IDE/Python/python.exe e:/1_tempFile/1_learn_code/VSCode/python_test/python_beautifulsoup4/read_html.py
[<a href="https://www.baidu.com">百度官网</a>]
body
[<ul class="list" id="list-1" name="element">
<li class="element">Foo</li>
<li class="element">Bar</li>
<li class="element">Jay</li>
</ul>, <ul class="list list-small" id="list-2">
<li class="element">Foo</li>
<a href="https://www.baidu.com">百度官网</a>
<li class="element">Bar</li>
</ul>, <a href="https://www.baidu.com">百度官网</a>]

    ⚪  参数kwargs ：可以以标签=值的方式查找所有该标签下的内容。

  • from bs4 import BeautifulSoup

soup = BeautifulSoup(open('test.html'),'lxml')

print(soup.find_all(id='list-1'))

    显示结果：

  • [<ul class="list" id="list-1" name="element">
<li class="element">Foo</li>
<li class="element">Bar</li>
<li class="element">Jay</li>
</ul>]

    ⚪ 参数text：通过text参数可以搜索文档中的字符串内容，于name参数的可选值一样，text参数接受字符串，正则表达式、列表。

  • soup = BeautifulSoup(open('test.html'),'lxml')

# 匹配字符串
print(soup.find_all(text='a'))

# 匹配正则表达式
print(soup.find_all(text=re.compile('^b')))

# 匹配列表
print(soup.find_all(text=['ui','li']))

    4. CSS选择器

在使用BeautifulSoup解析库时，经常结合CSS选择器来提取数据。

⚪ 根据标签名查找：比如传递 li 就会选择所有 li 标签

soup = BeautifulSoup(open('test.html'),'lxml')

print(soup.select('li'))

显示结果：

[<li class="element">Foo</li>, <li class="element">Bar</li>, <li class="element">Jay</li>, <li class="element">Foo</li>, <li class="element">Bar</li>]

⚪ 根据类名class查找：.line  表示选择class="line"的所有标签。用 . 代表class。

soup = BeautifulSoup(open('test.html'),'lxml')

print(soup.select('.panel-heading'))

显示结果：

[<div class="panel-heading">
<h4>Hello</h4>
</div>]

⚪ 根据id查找：#box 表示选取id=box的所有标签，#代表id

soup = BeautifulSoup(open('test.html'),'lxml')

print(soup.select('#list-1'))

显示结果：

[<ul class="list" id="list-1" name="element">
<li class="element">Foo</li>
<li class="element">Bar</li>
<li class="element">Jay</li>
</ul>]

⚪ 根据属性的名字查找：class和id分别使用 . 和#代表它们。其它的属性可以按照 input[name="username"]的格式查找 name="username"的标签。

soup = BeautifulSoup(open('test.html'),'lxml')

print(soup.select('ul[name="element"]'))

显示结果：

[<ul class="list" id="list-1" name="element">
<li class="element">Foo</li>
<li class="element">Bar</li>
<li class="element">Jay</li>
</ul>]

⚪ 标签+类名或id的形式

soup = BeautifulSoup(open('test.html'),'lxml')

print(soup.select('ul#list-1'))
# 查找id为list-1的ul标签
print('='*40)
# 查找class为list的ul标签
print(soup.select('ul.list'))

显示结果：

[<ul class="list" id="list-1" name="element">
<li class="element">Foo</li>
<li class="element">Bar</li>
<li class="element">Jay</li>
</ul>]
========================================
[<ul class="list" id="list-1" name="element">
<li class="element">Foo</li>
<li class="element">Bar</li>
<li class="element">Jay</li>
</ul>, <ul class="list list-small" id="list-2">
<li class="element">Foo</li>
<a href="https://www.baidu.com">Baidu</a>
<li class="element">Bar</li>
</ul>]

Process finished with exit code 0

⚪ 查找直接子元素

soup = BeautifulSoup(open('test.html'),'lxml')

# 查找id="list-1"的标签下的直接子标签li
print(soup.select('#list-1>li'))

⚪ 查找子孙标签

soup = BeautifulSoup(open('test.html'),'lxml')

# .panel_body 与 li之间是空格，表示查找class=panel_body的标签下的子标签或孙标签li
print(soup.select('.panel_body li'))

显示结果：

[<li class="element">Foo</li>, <li class="element">Bar</li>, <li class="element">Jay</li>, <li class="element">Foo</li>, <li class="element">Bar</li>]

⚪ 获取某个标签的属性

soup = BeautifulSoup(open('test.html'),'lxml')

# 先获取到 <div class="panel_body">
div=soup.select('.panel_body')[0]
# 再获取a标签下的href属性
print(div.select('a')[0]['href'])

显示结果：

https://www.baidu.com

⚪ 获取文本内容

■ 使用string属性：获取某个标签下的文本内容，强调一个标签，不含嵌套内容，返回字符串

soup = BeautifulSoup(open('test.html'),'lxml')

# 先获取到<div class="panel_body">
div = soup.select('.panel_body')[0]
# 再获取下面的<a>标签下的内容
print(div.select('a')[0].string)

显示结果：

Baidu

■ 使用strings属性：获得某个标签下的所有文本内容，可以嵌套，返回一个生成器，可以用list转换为列表

soup = BeautifulSoup(open('test.html'),'lxml')

# 先获取到<div class="panel_body">
div = soup.select('.panel_body')[0]
print(div.strings)
print(list(div.strings))

显示结果：

<generator object Tag._all_strings at 0x000001BE4A405CF0>
['\n', '\n', 'Foo', '\n', 'Bar', '\n', 'Jay', '\n', '\n', '\n', 'Foo', '\n', 'Baidu', '\n', 'Bar', '\n', '\n']

■ 使用stripped_strings：和strings属性类似，不同在于stripped_strings会去掉字符串头部和尾部的空格和换行符

soup = BeautifulSoup(open('test.html'),'lxml')

# 先获取到<div class="panel_body">
div = soup.select('.panel_body')[0]

print(div.stripped_strings)
print(list(div.stripped_strings))

显示结果：

<generator object Tag.stripped_strings at 0x0000026D05935CF0>
['Foo', 'Bar', 'Jay', 'Foo', 'Baidu', 'Bar']

■ 使用get_text()：获取所有字符串，包含嵌套，不过会把所有字符串拼接为一个再返回。

soup = BeautifulSoup(open('test.html'),'lxml')

# 先获取到<div class="panel_body">
div = soup.select('.panel_body')[0]

print(div.get_text())

显示结果：



Foo
Bar
Jay


Foo
Baidu
Bar

全文参考：100天精通Python（爬虫篇）——第46天：爬虫解析器BeautifulSoup4_无 羡ღ的博客-CSDN博客一、BeautifulSoup4库介绍 1. 介绍 2. 下载模块 3. 解析库二、上手操作 1. 基础操作 2. 对象种类 3. 搜索文档树 4. css选择器https://blog.csdn.net/yuan2019035055/article/details/125695337

小地瓜重新去华容道工作
关注
  • 0
    点赞
  • 踩
  • 5
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Python HTML解析器BeautifulSoup用法实例详解【爬虫解析器】
09-19
- 使用`pip`命令安装BeautifulSoup4及其相关的解析器： ```bash pip install beautifulsoup4 pip install lxml ``` - 安装`lxml`的原因是其解析速度快且功能强大，是推荐使用的解析器之一。 2. **创建对象**...
java注解-最通俗易懂的讲解
hld_hepeng的专栏
09-10 371
java注解-最通俗易懂的讲解 ...
2024年Python最新Python 爬虫的工具列表大全_picloud pip，直面春招
最新发布
egregw的博客
05-09 493
①　2000多本Python电子书（主流和经典的书籍应该都有了）②　Python标准库资料（最全中文版）③　项目源码（四五十个有趣且经典的练手项目及源码）④　Python基础入门、爬虫、web开发、大数据分析方面的视频（适合小白学习）⑤ Python学习路线图（告别不入流的学习）textract – 从各种文件中提取文本，比如 Word、PowerPoint、PDF等。messytables – 解析混乱的表格数据的工具。
Python爬虫基础知识（BeautifulSoup4） 网页解析
Mu_yongheng的博客
02-20 842
昨天我先“伪装”成了浏览器对网页进行了访问，爬取到了网页的信息。那么接下来的一步就是对爬取到的信息进行解析，获取到我们想要的信息。这个时候我们就需要引入一个库叫做靓汤，也就是BeautifulSoup4，通过这个库里面的一些函数可以将我们的网页文件解析成我们想要信息的形式。 BeautifulSoup4将复杂的HTML文档转换成一个复杂的树形结构，每个节点都是一个Python对象，所有对象可以归纳为4种： Tag 标签 NavigableString 标签内的内容（字符串等等） BeautifulSoup
Python 操作BeautifulSoup4(爬取网页信息)
感谢关注-最近在编写开源的自动化测试框架还没整理完
08-18 2682
BeautifulSoup 是一个库，可以很容易地从网页中抓取信息。它位于 HTML 或 XML 解析器之上，提供用于迭代、搜索和修改解析树的 Pythonic 习惯用法
Python爬虫 —— 使用BeautifulSoup4解析HTML文档
热门推荐
小菜鸡的小博客
03-31 1万+
我们来聊聊BS4是个啥，它能干啥，BS4是一个从HTML和XML文件中提取数据的python库，它可以将复杂HTML文件转换为一个复杂的树形结构，这棵树的每一个结点都是Python对象，所有对象都可以归纳为4类，这四个对象能干啥呢？点进来看看吧
python3解析库BeautifulSoup4的安装配置与基本用法
2301_80240808的博客
12-03 2917
Beautiful Soup是python的一个HTML或XML的解析库，我们可以用它来方便的从网页中提取数据，它拥有强大的API和多样的解析方式。
Python爬虫beautifulsoup4常用的解析方法总结
09-19
这篇总结将详细介绍BeautifulSoup4的一些常用解析方法，帮助开发者更高效地处理网页数据。 首先，要使用BeautifulSoup4解析HTML文档，我们需要先将其装载到BeautifulSoup对象中。这通常通过发送HTTP请求获取网页...
python爬虫学习笔记之Beautifulsoup模块用法详解
09-17
**Python 爬虫Beautifulsoup模块详解** 在Python爬虫领域，Beautifulsoup是一个不可或缺的工具，它是一个用于从HTML或XML文件中提取数据的库。它提供了简单的API，使得开发者可以方便地对网页进行导航、搜索和修改...
Python爬虫精简步骤5 用BeautifulSoup解析数据
12-23
在爬虫中，使用能读懂html的工具，才能提取到想要的数据。 本文介绍BeautifulSoup如何解析数据。 BeautifulSoup不是Python标准库，需要单独安装。...括号中的第1个参数用来标识解析器，要用一个Python内置库
Python爬虫解析器BeautifulSoup4
醉蕤的博客
08-18 1047
Python爬虫解析器BeautifulSoup4
Python 解析器BeautifulSoup4
80后大叔爱学习
08-21 969
Python爬虫BeautifulSoup必会申请，超级好用
python beautifulsoup4解析网页
qq_41122834的博客
01-30 168
安装： pip install bs4 pip install lxml 引用： from urllib.request import urlopen from bs4 import BeautifulSoup r = urlopen('https://www.boc.cn/sourcedb/whpj/') response = r.read().decode('utf-8') soup = BeautifulSoup(response, features= 'lxml') 常用的函数： 搜索文档树，选
爬虫知识——第三方库Beautiful Soup4 使用总结
fengzhen8023
09-29 1742
一、Beautiful Soup4简介 这个第三方库可以帮助我们来处理请求下来的HTML页面中的数据，如果你之前有过前端开发的经验或者是熟悉HTML标记语言和CSS语言的话，那么基本上可以无缝对接地使用这个第三方库来帮助你处理数据，继而完成我们的爬虫。 这里我们会给出Beautiful Soup4的中文文档，学习Pyhton到现在，提供这么详细中文文档的第三方库，还真是不多。如果大家想详细了解学习...
Beautiful Soup常见的解析器
weixin_30321709的博客
07-23 841
Beautiful Soup支持Python标准库中的HTML解析器,还支持一些第三方的解析器，如果我们不安装它，则 Python 会使用 Python默认的解析器，lxml 解析器更加强大，速度更快，推荐安装。 解析器使用方法优势劣势 Python标准库 BeautifulSoup(markup, “html.parser”) Python的内置标准...
Python Beautiful Soup教程-CSS选择器
ares_beyong的博客
11-21 4251
系列文章目录 Beautiful Soup教程-简介及安装 Beautiful Soup教程-基本使用 Beautiful Soup教程-认识选择器 Beautiful Soup教程-节点选择器之选择元素的方法 Beautiful Soup教程-节点选择器之提取信息的方法 Beautiful Soup教程-节点选择器之嵌套选择的方法 Beautiful Soup教程-节点选择器之关联选择的方法 Beautiful Soup教程-方法选择器 Beautiful Soup教程-CSS选择器 文章目录系列文章目
BeautifulSoup四大对象种类与常用解析器
HaogerField的博客
10-22 1580
html5lib 解析器通常比内置的 html.parser 解析器慢，但它具有更好的容错性，可以处理包含错误或不完整的 HTML。BeautifulSoup 对象是使用 BeautifulSoup 构造函数创建的，通常将解析器的名称和要解析的文档作为参数传递给构造函数。Tag 对象表示 HTML 或 XML 中的标签，例如、、等，Tag对象可 以包含其他标签、文本内容和属性，是BeautifulSoup中最常用的对象类型。这是 Python 内置的解析器，不需要额外安装任何库。
Python BeautifulSoup4 入门使用
卡尔特斯
11-15 2440
与lxml一样，是一个html解析器，主要功能也是解析和提取数据。是爬虫必学的技能。最主要的功能是从网页抓取数据，自动将输入文档转换为Unicode编码，输出文档转换为utf-8编码，不需要考虑编码方式，除非文档没有指定一个编码方式，这时，就不能自动识别编码方式了，然后，仅仅需要说明一下原始编码方式就可以了。支持Python标准库中的HTML解析器，还支持一些第三方的解析器，如果不安装它，则Python会使用Python默认的解析器。使用步骤。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值