爬虫入门之结构化数据类型XML的提取（BeautifulSoup4）

最新推荐文章于 2024-08-22 12:41:20 发布
最新推荐文章于 2024-08-22 12:41:20 发布
阅读量589 收藏 3
点赞数
文章标签： python 爬虫 BeautifulSoup bs4
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_43706512/article/details/100709280
版权

什么是beautiful soup？

和上一篇博客谈的Xpath一样，是python的一个HTML或XML的解析库，可以用它来方便地从网页中提取数据
CSS 选择器：BeautifulSoup4
和 lxml 一样，Beautiful Soup 也是python的一个HTML/XML的解析器，用它可以方便的从网页中提取数据。

lxml 只会局部遍历，而Beautiful Soup 是基于HTML DOM的，会载入整个文档，解析整个DOM树，因此时间和内存开销都
会大很多，所以性能要低于lxml。 BeautifulSoup 用来解析 HTML 比较简单，API非常人性化，支持CSS选择器、Python标
准库中的HTML解析器，也支持 lxml 的 XML解析器。 Beautiful Soup 3 目前已经停止开发，推荐现在的项目使用Beautiful 
Soup 4。使用 pip 安装即可：pip install beautifulsoup4 官方文档：http://beautifulsoup.readthedocs.io/zh_CN/v4.4.0

各种提取方式的对比

抓取工具速度使用难度安装难度
正则最快困难无（内置）
BeautifulSoup慢最简单简单
lxml快简单一般

Beautiful Soup支持的解析器

解析器使用方法优势
Python标准库BeautifulSoup(markup,‘html.parser’)Python的内置标准库、执行速度适中、文档容错能力强
lxml HTML解析器BeautifulSoup(markup,‘lxml’)速度快、文档容错能力强
lxml XML解析器BeautifulSoup(markup,‘xml’)速度快、唯一支持XML的解析器
html5libBeautifulSoup(markup,‘html5lib’)最好的容错性、以浏览器的方式解析文档，生成HTML5的格式文档

bs4在解析时依赖解析器

  • Python标准库 BeautifulSoup(markup,‘html.parser’) Python内置标准库，执行速度适中，容错能力强
  • lxml HTML 解析器 BeautifulSoup(markup,‘lxml’) 速度快、文档容错能力强

BeautifulSoup4的使用

基本使用

from bs4 import BeautifulSoup

html = '''
<html><head><title>The Dormouse's story</title></head>
<body>
<p class="title"><b>The Dormouse's story</b></p>

<p class="story">Once upon a time there were three little sisters; and their names were
<a href="http://example.com/elsie" class="sister" id="link1">Elsie</a>,
<a href="http://example.com/lacie" class="sister" id="link2">Lacie</a> and
<a href="http://example.com/tillie" class="sister" id="link3">Tillie</a>;
and they lived at the bottom of a well.</p>
<p class="story">...</p>
'''
soup = BeautifulSoup(html, 'lxml')
# 用来格式化代码，自动补全不完整的HTML代码
print(soup.prettify())
# 获取title标签
print(soup.title)
# title标签的名字
print(soup.title.name)
# title标签的内容
print(soup.title.string)

标签选择器
（1）选择元素

from bs4 import BeautifulSoup

html = '''
<html><head><title>The Dormouse's story</title></head>
<body>
<p class="title"><b>The Dormouse's story</b></p>

<p class="story">Once upon a time there were three little sisters; and their names were
<a href="http://example.com/elsie" class="sister" id="link1">Elsie</a>,
<a href="http://example.com/lacie" class="sister" id="link2">Lacie</a> and
<a href="http://example.com/tillie" class="sister" id="link3">Tillie</a>;
and they lived at the bottom of a well.</p>
<p class="story">...</p>
'''
# 声明soup对象
soup = BeautifulSoup(html, 'lxml')
# 获取title标签
print(soup.title)
# title标签类型
print(type(soup.title))
# 获取head标签
print(soup.head)
# 获取p标签，只输出第一个匹配结果
print(soup.p)

（2）获取名称

from bs4 import BeautifulSoup

html = '''
<html><head><title>The Dormouse's story</title></head>
<body>
<p class="title"><b>The Dormouse's story</b></p>

<p class="story">Once upon a time there were three little sisters; and their names were
<a href="http://example.com/elsie" class="sister" id="link1">Elsie</a>,
<a href="http://example.com/lacie" class="sister" id="link2">Lacie</a> and
<a href="http://example.com/tillie" class="sister" id="link3">Tillie</a>;
and they lived at the bottom of a well.</p>
<p class="story">...</p>
'''
# 声明soup对象
soup = BeautifulSoup(html, 'lxml')
# 获取名称
print(soup.title.name)

（3）获取属性

from bs4 import BeautifulSoup

html = '''
<html><head><title>The Dormouse's story</title></head>
<body>
<p class="title" name="demo"><b>The Dormouse's story</b></p>

<p class="story">Once upon a time there were three little sisters; and their names were
<a href="http://example.com/elsie" class="sister" id="link1">Elsie</a>,
<a href="http://example.com/lacie" class="sister" id="link2">Lacie</a> and
<a href="http://example.com/tillie" class="sister" id="link3">Tillie</a>;
and they lived at the bottom of a well.</p>
<p class="story">...</p>
'''
# 声明soup对象
soup = BeautifulSoup(html, 'lxml')
# 获取属性1
print(soup.p.attrs['name'])
# 获取属性2
print(soup.p['name'])

（4）获取内容

from bs4 import BeautifulSoup

html = '''
<html><head><title>The Dormouse's story</title></head>
<body>
<p class="title" name="demo"><b>The Dormouse's story</b></p>

<p class="story">Once upon a time there were three little sisters; and their names were
<a href="http://example.com/elsie" class="sister" id="link1">Elsie</a>,
<a href="http://example.com/lacie" class="sister" id="link2">Lacie</a> and
<a href="http://example.com/tillie" class="sister" id="link3">Tillie</a>;
and they lived at the bottom of a well.</p>
<p class="story">...</p>
'''
# 声明soup对象
soup = BeautifulSoup(html, 'lxml')
# 获取内容:获取p标签的内容，第一个匹配到的
print(soup.p.string)

（5）嵌套选择

from bs4 import BeautifulSoup

html = '''
<html><head><title>The Dormouse's story</title></head>
<body>
<p class="title" name="demo"><b>The Dormouse's story</b></p>

<p class="story">Once upon a time there were three little sisters; and their names were
<a href="http://example.com/elsie" class="sister" id="link1">Elsie</a>,
<a href="http://example.com/lacie" class="sister" id="link2">Lacie</a> and
<a href="http://example.com/tillie" class="sister" id="link3">Tillie</a>;
and they lived at the bottom of a well.</p>
<p class="story">...</p>
'''
# 声明soup对象
soup = BeautifulSoup(html, 'lxml')
# 嵌套选择:获取head标签内的title标签的内容
print(soup.head.title.string)

（6）子节点和子孙节点

from bs4 import BeautifulSoup

html = """
<html>
    <head>
        <title>The Dormouse's story</title>
    </head>
    <body>
        <p class="story">
            Once upon a time there were three little sisters; and their names were
            <a href="http://example.com/elsie" class="sister" id="link1">
                <span>Elsie</span>
            </a>
            <a href="http://example.com/lacie" class="sister" id="link2">Lacie</a>
            and
            <a href="http://example.com/tillie" class="sister" id="link3">Tillie</a>
            and they lived at the bottom of a well.
        </p>
        <p class="story">...</p>
"""

soup = BeautifulSoup(html,'lxml')
# 获得p标签的所有子节点，以列表的方式输出
print(soup.p.contents)
# children 也可以返回子节点，与contents不同的是它相当于一个迭代器
print(soup.p.children)
for i, child in enumerate(soup.p.children):
    print(i, child)
# 获取子孙节点descendants
print(soup.p.descendants)
for i, child in enumerate(soup.p.descendants):
    print(i, child)

（7）父节点和祖先节点

from bs4 import BeautifulSoup

html = """
<html>
    <head>
        <title>The Dormouse's story</title>
    </head>
    <body>
        <p class="story">
            Once upon a time there were three little sisters; and their names were
            <a href="http://example.com/elsie" class="sister" id="link1">
                <span>Elsie</span>
            </a>
            <a href="http://example.com/lacie" class="sister" id="link2">Lacie</a>
            and
            <a href="http://example.com/tillie" class="sister" id="link3">Tillie</a>
            and they lived at the bottom of a well.
        </p>
        <p class="story">...</p>
"""

soup = BeautifulSoup(html,'lxml')
# 获取a标签(第一个a标签)的所有父节点
# print(soup.a.parent)
# 获取a标签所有祖先节点
print(list(enumerate(soup.a.parents)))

（8）兄弟节点

from bs4 import BeautifulSoup

html = """
<html>
    <head>
        <title>The Dormouse's story</title>
    </head>
    <body>
        <p class="story">
            Once upon a time there were three little sisters; and their names were
            <a href="http://example.com/elsie" class="sister" id="link1">
                <span>Elsie</span>
            </a>
            <a href="http://example.com/lacie" class="sister" id="link2">Lacie</a>
            and
            <a href="http://example.com/tillie" class="sister" id="link3">Tillie</a>
            and they lived at the bottom of a well.
        </p>
        <p class="story">...</p>
"""

soup = BeautifulSoup(html,'lxml')
# 获取a标签(第一个a标签)的所有后面的兄弟节点
print(list(enumerate(soup.a.next_siblings)))
# 获取a标签(第一个a标签)的所有前面的兄弟节点
print(list(enumerate(soup.a.previous_siblings)))

标准选择器
1、find_all(name, attrs, recursive, text, **kwargs)
可根据标签名、属性、内容查找文档，返回所有元素

html='''
<div class="panel">
    <div class="panel-heading">
        <h4>Hello</h4>
    </div>
    <div class="panel-body">
        <ul class="list" id="list-1">
            <li class="element">Foo</li>
            <li class="element">Bar</li>
            <li class="element">Jay</li>
        </ul>
        <ul class="list list-small" id="list-2">
            <li class="element">Foo</li>
            <li class="element">Bar</li>
        </ul>
    </div>
</div>
'''
from bs4 import BeautifulSoup
soup = BeautifulSoup(html, 'lxml')
# 查找所有name为ul的标签
print(soup.find_all('ul'))
# 输出第一个ul标签的类型
print(type(soup.find_all('ul')[0]))
# 从ul中循环遍历取出所有的li标签
for ul in soup.find_all('ul'):
    print(ul.find_all('li'))

attrs属性

from bs4 import BeautifulSoup

html = '''
<div class="panel">
    <div class="panel-heading">
        <h4>Hello</h4>
    </div>
    <div class="panel-body">
        <ul class="list" id="list-1" name="elements">
            <li class="element">Foo</li>
            <li class="element">Bar</li>
            <li class="element">Jay</li>
        </ul>
        <ul class="list list-small" id="list-2">
            <li class="element">Foo</li>
            <li class="element">Bar</li>
        </ul>
    </div>
</div>
'''

soup = BeautifulSoup(html, 'lxml')
# attrs传递的是字典形式
print(soup.find_all(attrs={'id': 'list-1'}))
print(soup.find_all(attrs={'name': 'elements'}))
print(soup.find_all(id="list-1"))
# 因为class是Python中的一个关键字，所以不能直接用它来传数据
print(soup.find_all(class_="element"))

text属性
做元素查找不方便。

from bs4 import BeautifulSoup

html = '''
<div class="panel">
    <div class="panel-heading">
        <h4>Hello</h4>
    </div>
    <div class="panel-body">
        <ul class="list" id="list-1">
            <li class="element">Foo</li>
            <li class="element">Bar</li>
            <li class="element">Jay</li>
        </ul>
        <ul class="list list-small" id="list-2">
            <li class="element">Foo</li>
            <li class="element">Bar</li>
        </ul>
    </div>
</div>
'''

soup = BeautifulSoup(html, 'lxml')
# 根据文本内容选择
print(soup.find_all(text='Foo'))

2、find(name, attrs, recursive, text, **kwargs)
find返回单个元素，即匹配到的第一个结果。

from bs4 import BeautifulSoup

html = '''
<div class="panel">
    <div class="panel-heading">
        <h4>Hello</h4>
    </div>
    <div class="panel-body">
        <ul class="list" id="list-1">
            <li class="element">Foo</li>
            <li class="element">Bar</li>
            <li class="element">Jay</li>
        </ul>
        <ul class="list list-small" id="list-2">
            <li class="element">Foo</li>
            <li class="element">Bar</li>
        </ul>
    </div>
</div>
'''

soup = BeautifulSoup(html, 'lxml')
print(soup.find('ul'))
print(type(soup.find('ul')))
print(soup.find('page'))

其他一些类似的方法
（1）、find_parents() VS find_patent()

find_parents() ——返回所有祖先节点
find_patent() ——返回直接父节点

（2）、find_next_siblings() VS find_next_sibling

find_next_siblings() ——返回后面所有兄弟节点
find_next_sibling() ——返回后面第一个兄弟节点

（3）、find_previous_siblings() VS find_previous_sibling()

find_previous_siblings() ——返回前面所有兄弟节点
find_previous_sibling() ——返回前面第一个兄弟节点

（4）、find_all_next() VS find_next()

find_all_next() ——返回节点后所有符合条件的节点
find_next() ——返回第一个符合条件的节点

（5）、find_all_previous() VS find_previous()

find_all_previous() —— 返回节点前所有符合条件的节点
find_previous() —— 返回节点前第一个符合条件的节点

CSS选择器

通过select()直接传入CSS选择器即可完成选择。

from bs4 import BeautifulSoup

html = '''
<div class="panel">
    <div class="panel-heading">
        <h4>Hello</h4>
    </div>
    <div class="panel-body">
        <ul class="list" id="list-1">
            <li class="element">Foo</li>
            <li class="element">Bar</li>
            <li class="element">Jay</li>
        </ul>
        <ul class="list list-small" id="list-2">
            <li class="element">Foo</li>
            <li class="element">Bar</li>
        </ul>
    </div>
</div>
'''

soup = BeautifulSoup(html, 'lxml')
# 选择class属性，用空格分隔
print(soup.select('.panel .panel-heading'))
# 选择ul标签中的li标签
print(soup.select('ul li'))
# 选择 ID 中的class为element的标签
print(soup.select('#list-2 .element'))
# 输出第一个ul标签的类型
print(type(soup.select('ul')[0]))

（1）获取属性

html='''
<div class="panel">
    <div class="panel-heading">
        <h4>Hello</h4>
    </div>
    <div class="panel-body">
        <ul class="list" id="list-1">
            <li class="element">Foo</li>
            <li class="element">Bar</li>
            <li class="element">Jay</li>
        </ul>
        <ul class="list list-small" id="list-2">
            <li class="element">Foo</li>
            <li class="element">Bar</li>
        </ul>
    </div>
</div>
'''
from bs4 import BeautifulSoup
soup = BeautifulSoup(html, 'lxml')
for ul in soup.select('ul'):
    print(ul['id'])
    print(ul.attrs['id'])

（2）获取内容

from bs4 import BeautifulSoup

html = '''
<div class="panel">
    <div class="panel-heading">
        <h4>Hello</h4>
    </div>
    <div class="panel-body">
        <ul class="list" id="list-1">
            <li class="element">Foo</li>
            <li class="element">Bar</li>
            <li class="element">Jay</li>
        </ul>
        <ul class="list list-small" id="list-2">
            <li class="element">Foo</li>
            <li class="element">Bar</li>
        </ul>
    </div>
</div>
'''

soup = BeautifulSoup(html, 'lxml')
for li in soup.select('li'):
    # get_text获取内容
    print(li.get_text())

总结

1、推荐使用lxml解析库，必要时使用html.parser
2、标签选择筛选功能弱但是速度快
3、建议使用find()、find_all()查询匹配单个结果或者多个结果
4、如果对CSS选择器熟悉的建议使用select()方法
5、记住常用的获取属性和文本值得方法

村里最靓的仔
关注
[Python从零到壹] 五.网络爬虫之BeautifulSoup基础语法万字详解
杨秀璋的专栏
11-08 1万+
欢迎大家来到“Python从零到壹”，在这里我将分享约200篇Python系列文章，带大家一起去学习和玩耍，看看Python这个有趣的世界。所有文章都将结合案例、代码和作者的经验讲解，真心想把自己近十年的编程经验分享给大家，希望对您有所帮助，文章中不足之处也请海涵。Python系列整体框架包括基础语法10篇、网络爬虫30篇、可视化分析10篇、机器学习20篇、大数据分析20篇、图像识别30篇、人工智能40篇、Python安全20篇、其他技巧10篇。您的关注、点赞和转发就是对秀璋最大的支持，知识无价人有情，希望
BeautifulSoup操作xml文件
止语的博客
08-18 4311
BeautifulSoup操作html的介绍较为常见，可参考官方文档，常见的对xml的操作可以使用ElementTree进行操作，这里并不是介绍BeautifulSoup操作xml，对自己在一次实践中遇到的问题进行记录。 问题：操作XML后，其中有多个结点，这里姑且以Id结点为例，需要替换一个其中一个Id结点，该Id结点可以通过父节点区分其他结点，因为ElementTree中可以使用iter()...
BeautifulSoup：强大的HTML和XML解析利器
最新发布
qq_29929123的博客
08-22 849
BeautifulSoup是一个Python库，它可以从HTML或XML文件中提取数据。它的名字来源于"标签汤"（tag soup），这是对格式混乱的HTML的一种俏皮称呼。BeautifulSoup提供了简单的方法来导航、搜索和修改解析树，使得从网页中提取信息变得轻而易举。BeautifulSoup是一个强大而灵活的工具，适用于各种HTML和XML解析任务。它的简单API和强大的功能使得网页抓取和数据提取变得容易。
利用BeautifulSoup4解析和提取 HTML/XML 数据
weixin_42255200的博客
07-06 5891
1 BeautifulSoup4简介BeautifulSoup4和 lxml 一样，Beautiful Soup 也是一个HTML/XML的解析器，主要的功能也是如何解析和提取 HTML/XML 数据。lxml 只会局部遍历，而Beautiful Soup 是基于HTML DOM的，会载入整个文档，解析整个DOM树，因此时间和内存开销都会大很多，所以性能要低于lxml。 BeautifulSoup...
[Python]HTML/XML解析器Beautiful Soup
SmartSi
12-20 275
【简介】 Beautiful Soup是一个可以从HTML或XML文件中提取数据的Python库。即HTML/XMLX的解析器。 它可以很好的处理不规范标记并生成剖析树(parse tree)。 它提供简单又常用的导航（navigating），搜索以及修改剖析树的操作。它可以大大节省你的编程时间。 【安装】 下载地址：点击打开链接 Linux平台安装： 如果你用的是新版的Deb...
关于BeautifulSoup解析xml
weixin_43338538的博客
04-03 492
安装：（对python3.6） pip install beautifulsoup4 pip install lxml==4.1.1 from bs4 import BeautifulSoup path = 'E:\VOCdevkit\VOC2012\Annotations/2007_000027.xml' a= BeautifulSoup(open(path),"lxml") print(a....
(五)网页解析-提取结构化数据-BeautifulSoup+Xpath python+scrapy爬虫5小时入门
weixin_40771510的博客
08-03 1017
网页解析-提取结构化数据 BeautifulSoup 简介 BeautifulSoup 是一个可以从HTML或XML文件中提取数据的Python库，它的使用方式相对于正则来说更加的简单方便，常常能够节省我们大量的时间。 官方中文文档的：https://www.crummy.com/software/BeautifulSoup/bs4/doc/index.zh.html BeautifulSou...
Python入门到精通教程（爬虫+办公自动化+数据分析）
03-14
在“Python入门”阶段，你将学习到如何安装Python环境，理解变量、数据类型、运算符、流程控制（如条件语句和循环），以及函数和模块的基本概念。此外，还会介绍Python的异常处理机制，确保你的代码具有良好的错误...
Python 入门爬虫和数据分析实战.zip
04-25
在数据预处理阶段，你需要学会如何处理缺失值、异常值，进行数据类型转换，以及进行数据标准化和归一化。在数据分析阶段，可以使用描述性统计量理解数据特性，通过相关性分析探索变量之间的关系，还可以利用线性回归...
Python 入门爬虫和数据分析实战
08-16
在数据分析实战中，你将学习如何导入和预处理数据，例如处理缺失值、异常值，进行数据类型转换。理解统计概念，如均值、中位数、标准差，以及如何运用这些统计量进行数据分析。此外，学习如何使用Pandas进行数据切片...
集搜客-爬取数据XML转Excel
03-05
用于将集搜客爬取的数据XML格式转化为Excel，令其更加规整，便于处理！非常好用的小工具。打开宏即可。
python爬取知乎live_python爬虫——xml数据爬取
weixin_39776298的博客
11-26 171
回想去年写毕业论文时候需要数据，虽然数据量不大，但是手工录入，也是颇费眼神。现在自学了Python，就拿曾经的需求当做案例吧！爬取目标：最近20年每个月的仔猪价格，生猪价格和猪肉价格爬取软件：python 3.7.2 IDE:PyCharm爬取包：requests, pandas ,lxml, time打开如下部分：打开检查，如下图很好，数据就在最后的大红框里面，分别对应着时间和价格。有前端基础一...
使用BeautifulSoup4解析XML
热门推荐
pengjunlee的博客
11-22 8万+
Beautiful Soup 是一个用来从HTML或XML文件中提取数据的Python库，它利用大家所喜欢的解析器提供了许多惯用方法用来对文档树进行导航、查找和修改。 帮助文档英文版：https://www.crummy.com/software/BeautifulSoup/bs4/doc/ 帮助文档中文版：https://www.crummy.com/software/BeautifulSo...
py BeautifulSoup 库, 爬取及xml解析
yichudu
10-17 1016
BeautifulSoup 类比于 java中的 JSoup 工具.安装pip install beautifulsoup4. 如果是 anaconda 的话, 或许已经自带了.参考 quick start Beautiful Soup 4.4.0 documentation
爬虫-BeautifulSoup之XML篇
不起眼小菜菜的博客
12-01 1037
爬虫-Beautiful Soup……
python修改xml文件保留原文件的注释_python – 将修改后的Beautiful Soup树写入文件,同时保持原始XML格式...
weixin_39788451的博客
12-17 629
我们有一个XML文档,其中包含我们希望更改的标记：… 1.0< /版本> …它深埋在XML文件中,但我们已经成功地使用Beautiful Soup用命令行参数替换它的内容.问题是在修改树之后,我们需要回写我们从中读取的文件.但是,我们希望保持文档的原始格式.我用的时候：fileForWriting = open(myXmlFile, 'w')fileForWriting.write(s...
使用BeautifulSoup处理XML文档
weixin_33717298的博客
12-31 301
2019独角兽企业重金招聘Python工程师标准>>> ...
使用beautiful soup解析xml
dff505045的博客
12-06 299
比如解析name authornamelist = soup.find_all('contrib') for x in authornamelist: print x.surname.text print x.surname.next_sibling.next_sibling.text surname.next_...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值