BeautifulSoup库详解

最新推荐文章于 2024-08-19 09:22:32 发布
最新推荐文章于 2024-08-19 09:22:32 发布
阅读量4.6k 收藏 33
点赞数 4
分类专栏： Python学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/arise007/article/details/79492124
版权

通过这篇文章为大家介绍崔庆才老师对Python爬虫BeautifulSoup库的讲解，包括基本原理及其理论知识点

本文共有约1200字，建议阅读时间10分钟，并且注重理论与实践相结合

觉得文章比较枯燥和用电脑观看的可以点击阅读原文即可跳转到CSDN网页


目录：

一、什么是BeautifulSoup

二、安装

三、BeautifulSoup用法详解




一、什么是BeautifulSoup

灵活又方便的网页解析库，处理高效，支持多种解析器。利用它不用编写正则表达式即可方便实现网页信息的提取。


二、安装

pip install beautifulsoup4

三、BeautifulSoup用法详解

  1. 解析库


  2. 基本使用


  3. html = '''
<html><head><title>The Domouse's story</title></head>
<body>
<p class="title"name="dromouse"><b>The Dormouse's story</b></p>
<p class="story">Once upon a time there were little sisters;and their names were
<a href="http://example.com/elsie"class="sister"id="link1"><!--Elsie--></a>
<a hred="http://example.com/lacle"class="sister"id="link2">Lacle</a>and
<a hred="http://example.com/tilie"class="sister"id="link3">Tillie</a>
and they lived at bottom of a well.</p>
<p class="story">...</p>
'''

from bs4 import BeautifulSoup

soup= BeautifulSoup(html,'lxml')

print(soup.prettify())#格式化代码，打印结果自动补全缺失的代码

print(soup.title.string)#文章标题

  4. 标签选择器


  5. #选择元素
html = '''
<html><head><title>The Domouse's story</title></head>
<body>
<p class="title"name="dromouse"><b>The Dormouse's story</b></p>
<p class="story">Once upon a time there were little sisters;and their names were
<a href="http://example.com/elsie"class="sister"id="link1"><!--Elsie--></a>
#选择元素
html = '''
<html><head><title>The Domouse's story</title></head>
<body>
<p class="title"name="dromouse"><b>The Dormouse's story</b></p>
<p class="story">Once upon a time there were little sisters;and their names were
<a href="http://example.com/elsie"class="sister"id="link1"><!--Elsie--></a>
<a hred="http://example.com/lacle"class="sister"id="link2">Lacle</a>and
<a hred="http://example.com/tilie"class="sister"id="link3">Tillie</a>
and they lived at bottom of a well.</p>
<p class="story">...</p>
'''

soup = BeautifulSoup(html,'lxml')

print(soup.title)
<title>The Domouse's story</title>

print(type(soup.title))
<class 'bs4.element.Tag'>

print(soup.head)
<head><title>The Domouse's story</title></head>

print(soup.p)#当出现多个时，只返回了一个
<p class="title" name="dromouse"><b>The Dormouse's story</b></p>

#获取名称
print(soup.title.name)

#获取内容

print(soup.p.attrs['name'])
dromouse

print(soup.p['name'])
dromouse

soup = BeautifulSoup(html,'lxml')

print(soup.title)
<title>The Domouse's story</title>

print(type(soup.title))
<class 'bs4.element.Tag'>

print(soup.head)
<head><title>The Domouse's story</title></head>

print(soup.p)#当出现多个时，只返回了一个
<p class="title" name="dromouse"><b>The Dormouse's story</b></p>

#获取名称
print(soup.title.name)

#获取属性

print(soup.p.attrs['name'])
dromouse

print(soup.p['name'])
dromouse

#获取内容
print(soup.p.string)
    The Dormouse's story

  6. 嵌套内容


  7. #嵌套选择
from bs4 import BeautifulSoup


html = '''
<html><head><title>The Domouse's story</title></head>
<body>
<p class="title"name="dromouse"><b>The Dormouse's story</b></p>
<p class="story">Once upon a time there were little sisters;and their names were
<a href="http://example.com/elsie"class="sister"id="link1"><!--Elsie--></a>
<a hred="http://example.com/lacle"class="sister"id="link2">Lacle</a>and
<a hred="http://example.com/tilie"class="sister"id="link3">Tillie</a>
and they lived at bottom of a well.</p>
<p class="story">...</p>
'''

soup = BeautifulSoup(html,'lxml')

print(soup.head.title.string)#观察html的代码，其中有一层包含的关系：head（title），那我们就可以用嵌套的形式将其内容打印出来；body（p或是a）
The Domouse's story

#子节点和子孙节点
html2 = '''
<html>
    <head>
        <title>The Domouse's story</title>
    </head>
    <body>
    <p class="story">
        Once upon a time there were little sisters;and their names were
        <a href="http://example.com/elsie" class="sister"id="link1">
        <span>Elsle</span>
        </a>
        <a hred="http://example.com/lacle"class="sister" id="link2">Lacle</a>
        and
        <a hred="http://example.com/tilie"class="sister" id="link3">Tillie</a>
        and they lived at bottom of a well.
        </p>
        <p class="story">...</p>
'''

soup2 = BeautifulSoup(html2,'lxml')

print(soup2.p.contents)
print(soup2.children)#不同之处：children实际上是一个迭代器，需要用循环的方式才能将内容取出

for i,child in enumerate(soup2.p.children):
    print(i,child)
    
print(soup2.p.descendants)#获取所有的子孙节点，也是一个迭代器

for i,child in enumerate(soup2.p.descendants):
    print(i,child)

#父节点和祖先节点
print(soup2.a.parent)

print(list(enumerate(soup2.a.parents)))#所有祖先节点（爸爸也算）

#兄弟节点（与之并列的节点）
print(list(enumerate(soup2.a.next_siblings)))#后面的兄弟节点

print(list(enumerate(soup2.a.previous_siblings)))#前面的兄弟节点

  8. 标准选择器


  9. find_all(name,attrs,recursive,text,**kargs)

#可根据签名、属性、内容查找文档


  10. #name
from bs4 import BeautifulSoup

html = '''
<div class="panel">
    <div class="panel-heading"name="elements">
        <h4>Hello</h4>
    </div>
    <div class="panel-body">
        <ul class="list"Id="list-1">
            <li class="element">Foo</li>
            <li class="element">Bar</li>
            <li class="element">Jay</li>
        </ul>
        <ul class="list list-small"Id="list-2">
            <li class="element">Foo</li>
            <li class="element">Bar</li>
        </ul>
    </div>
<div>
'''

soup = BeautifulSoup(html,'lxml')

print(soup.find_all('ul'))#列表类型
print(type(soup.find_all('ul')[0]))

for ul in soup.find_all('ul'):
    print(ul.find_all('li'))#层层嵌套的查找

#attrs用法
print(soup.find_all(attrs={'id':'list-1'}))

    print(soup.find_all(attrs={'name':'elements'}))

print(soup.find_all(class_="element"))


  11. #text
html = '''
<div class="panel">
    <div class="panel-heading">
        <h4>Hello</h4>
    </div>
    <div class="panel-body"name="elelments">
        <ul class="list"Id="list-1">
            <li class="element">Foo</li>
            <li class="element">Bar</li>
            <li class="element">Jay</li>
        </ul>
        <ul class="list list-small"Id="list-2">
            <li class="element">Foo</li>
            <li class="element">Bar</li>
        </ul>
    </div>
<div>
'''

from bs4 import BeautifulSoup

soup = BeautifulSoup(html,'lxml')

print(soup.find_all(text='Foo'))


  12. #find（name，attrs，recursive，text，**kwargs）返回单个元素，find_all返回所有元素
html = '''
<div class="panel">
    <div class="panel-heading">
        <h4>Hello</h4>
    </div>
    <div class="panel-body"name="elelments">
        <ul class="list"Id="list-1">
            <li class="element">Foo</li>
            <li class="element">Bar</li>
            <li class="element">Jay</li>
        </ul>
        <ul class="list list-small"Id="list-2">
            <li class="element">Foo</li>
            <li class="element">Bar</li>
        </ul>
    </div>
<div>
'''

from bs4 import BeautifulSoup

print(soup.find('ul'))
print(type(soup.find('ul')))
print(soup.find('page'))

    find_parents()：返回所有祖先节点和find_parent()返回直接父节点

    find_next_siblings()返回所有兄弟节点和find_next_sibling()返回后面第一个兄弟节点

    find_previous_siblings()：返回前面的所有兄弟节点和find_previous_sibling()：返回前面第一个兄弟节点

    find_all_next()：返回节点后所有符合条件的节点和find_next()：返回第一个符合条件的节点

    find_all_previous()返回节点前所有符合条件的节点和find_previous()：返回节点前第一个符合条件的节点

  13. .CSS选择器

    通过select()直接传入CSS选择器即可完成选择


  14. #CSS选择器
html = '''
<div class="panel">
    <div class="panel-heading">
        <h4>Hello</h4>
    </div>
    <div class="panel-body"name="elelments">
        <ul class="list"Id="list-1">
            <li class="element">Foo</li>
            <li class="element">Bar</li>
            <li class="element">Jay</li>
        </ul>
        <ul class="list list-small"Id="list-2">
            <li class="element">Foo</li>
            <li class="element">Bar</li>
        </ul>
    </div>
<div>
'''

from bs4 import BeautifulSoup
soup = BeautifulSoup(html,'lxml')
print(soup.select('.panel .panel-heading')) #class就需要加一个“.”
print(soup.select('ul li') #选择标签
print(soup.select('#list-2 .element'))
print(type(soup.select('ul')[0]))

for ul in soup.select('ul'):#直接print(soup.select('ul li'))
    print(ul.select('li'))

  15. 获取属性


  16. html = '''
<div class="panel">
    <div class="panel-heading">
        <h4>Hello</h4>
    </div>
    <div class="panel-body"name="elelments">
        <ul class="list"Id="list-1">
            <li class="element">Foo</li>
            <li class="element">Bar</li>
            <li class="element">Jay</li>
        </ul>
        <ul class="list list-small"Id="list-2">
            <li class="element">Foo</li>
            <li class="element">Bar</li>
        </ul>
    </div>
<div>
'''

from bs4 import BeautifulSoup
soup = BeautifulSoup(html,'lxml')
for ul in soup.select('ul'):
        print(ul['id'])#直接用[]
        print(ul.attrs['id'])#或是attrs+[]

  17. 获取内容


  18. html = '''
<div class="panel">
    <div class="panel-heading">
        <h4>Hello</h4>
    </div>
    <div class="panel-body"name="elelments">
        <ul class="list"Id="list-1">
            <li class="element">Foo</li>
            <li class="element">Bar</li>
            <li class="element">Jay</li>
        </ul>
        <ul class="list list-small"Id="list-2">
            <li class="element">Foo</li>
            <li class="element">Bar</li>
        </ul>
    </div>
<div>
'''

from bs4 import BeautifulSoup
soup = BeautifulSoup(html,'lxml')
for li in soup.select('ul'):
        print(li.get_text())

四、总结

  1. 推荐使用'lxml'解析库，必要时使用html.parser

  2. 标签选择器筛选功能但速度快

  3. 建议使用find（），find_all（）查询匹配单个结果或者多个结果

  4. 如果对CSS选择器熟悉建议选用select（）

  5. 记住常用的获取属性和文本值得方法

Python：BeautifulSoup库介绍
不怕猫的耗子A
05-12 2189
1、BeautifulSoup是Python中的一个第三方库，其最主要的功能是处理HTML文档⑴查找HTML文档中的指定标签⑵获取HTML文档中指定标签的标签名、标签值、标签属性等⑶修改HTML文档中指定标签2、BeautifulSoup库将HTML文档解析为一个对象，使用该对象方法能很方便的获取HTML文档中的数据3、BeautifulSoup库也可以用来处理XML文档。
BeautifulSoup库详解（个人整理）
weixin_47476051的博客
05-02 8144
1.解析库 灵活又方便的网页解析库，处理高效，支持多种解析器。 利用它不用编写正则表达式即可方便地实现网页信息的提取。 安装：pip3 install BeautifulSoup4 解析器 使用方法 优势 劣势 Python标准库 BeautifulSoup(markup, “html.parser”) Python的内置标准库、执行速度适中 、文档容错能力强 Python 2.7...
BeautifulSoup简介
yy1713的博客
11-03 2107
BeautifulSoup简介 介绍 lxml 只会局部遍历，而Beautiful Soup 是基于HTML DOM的，会载入整个文档，解析整个DOM树，因此时间和内存开销都会大很多，所以性能要低于lxml。 BeautifulSoup 用来解析 HTML 比较简单，API非常人性化，支持CSS选择器、Python标准库中的HTML解析器，也支持 lxml 的 XML解析器。 使用 pip 安装即...
BeautifulSoup解析库
感谢关注
11-22 441
BeautifulSoup解析库 文章目录BeautifulSoup解析库介绍安装BeautifulSoup对象介绍与创建BeautifulSoup 对象的find方法实现 介绍 从HTML或者xml文件中提取数据的Python库 安装 BeautifulSoup 4 pip install bs4 #安装lxml pip install lxml BeautifulSoup对象介绍与创建 # 导入模块 from bs4 import BeautifulSoup def test(): #创建
BeautifulSoup的基础语法
最新发布
s44359487yad的博客
08-19 1674
注意：前面定义的HTML源码标签对是缺少结束标签的，即没有和标签，但是使用prettify()函数输出的结果已经自动补齐了结束标签，这是BeautifulSoup的一个优点。比如“< a class=“poet” href=“http://example.com/dufu” id=“link1”>杜甫< /a>”，通过调用find_all(‘a’)函数获取所有超链接的HTML源码，再调用get(‘href’)获取超链接的内容，href属性对应的值为：http://example.com/dufu。
beautifulSoup解析库
weixin_34200628的博客
01-23 166
BeautifulSoup库通俗来说是【解析、遍历、维护“标签树”(例如html、xml等格式的数据对象)的功能库】一个简单的使用BeautifulSoup库的demo： # coding:utf-8 from bs4 import BeautifulSoup import requests url = 'http://python123.io/ws/demo.html'...
beautifulsoup 简介
fish xiang
08-12 817
beautifulsoup 有下列3个对象 BeautifulSoup Tag NavigableString Beautifulsoup对象的创建创建一个BeautifulSoup对象是任何Beatutiful Soup工程的第一步。 BeatutifulSoup对象的创建可以通过一个字符串或一个类文件对象（可以是一个储存在本地的文件句柄或一个web网页句柄）1.用字符串创建Beautiful
课时11：BeautifulSoup库详解.rar
03-01
Python3 爬虫实战Python3 爬虫实战Python3 爬虫实战Python3 爬虫实战Python3 爬虫实战Python3 爬虫实战Python3 爬虫实战Python3 爬虫实战Python3 爬虫实战
python爬虫的BeautifulSoup库详解
热门推荐
一行玩python
05-29 3万+
文章目录1.解析库2.基本使用3.标签选择器3.1选择元素3.2获取名称3.3获取属性3.4获取内容3.5嵌套选择3.6子节点和子孙节点3.7父节点和祖先节点3.8兄弟节点4标准选择器4.1find_all( name , attrs , recursive , text , **kwargs )4.1.1name4.1.2attrs4.1.3text4.2find( name , attrs ,...
Python网络爬虫：BeautifulSoup库详解
"第二讲整理1 - Python网络爬虫中的BeautifulSoup库入门" 在Python的网络爬虫领域，BeautifulSoup库是一个非常重要的工具，它主要用于解析HTML和XML文档，使得我们能够方便地提取和操作网页数据。本讲主要介绍了...
北理Python爬虫：BeautifulSoup库详解及实战应用
本资源是关于北京大学理学院开设的Python爬虫课程的一部分，专注于BeautifulSoup库的学习。BeautifulSoup是一个在Python中广泛使用的库，用于解析HTML和XML文档，帮助开发者从复杂网页结构中提取所需的数据。它使得...
BeautifulSoup介绍
舔舔柠檬
05-25 420
BeautifulSoup response=requests.get("https://www.baidu.com") ##获得网页的回应 html=response.text ##获得网页的源代码 soup=BeautifulSoup(html,"html.parser") ##将网页转化成BeautifSoup对象 BeautifulSoup 简介 BeautifulSoup 就是 Python 的一个 HTML 或 XML 的解析库，我们可
Python爬虫-解析库之BeautifulSoup
Cherish1ove的博客
01-03 1135
BeautifulSoup装载HTML文档BeautifulSoup的安装BeautifulSoup装载HTML文档BeautifulSoup查找HTML元素BeautifulSoup获取元素的属性值BeautifulSoup获取元素包含的文本值BeautifulSoup的高级查找获取元素节点的父节点获取元素节点的直接子元素节点获取元素节点的所有子孙元素节点获取元素节点的兄弟节点 Beautifu...
Beautiful Soup 简介
wddxwdwl的博客
07-28 3450
Beautiful Soup 简介 简单来说，Beautiful Soup是python的一个库，最主要的功能是从网页抓取数据。官方解释如下： Beautiful Soup提供一些简单的、python式的函数用来处理导航、搜索、修改分析树等功能。它是一个工具箱，通过解析文档为用户提供需要抓取的数据，因为简单，所以不需要多少代码就可以写出一个完整的应用程序。Beautiful Soup自动将输入文档转换为Unicode编码，输出文档转换为utf-8编码。你不需要考虑编码方式，除非文档没有指定一个编码方式，..
python beautiful soup库的用法
weixin_34127717的博客
03-09 3164
参考：http://cuiqingcai.com/1319.html Beautiful Soup 4.2.0 文档 1. Beautiful Soup 简介 简单来说，Beautiful Soup是python的一个库，最主要的功能是从网页抓取数据。官方解释如下： Beautiful Soup提供一些简单的、python式的函数用来处理导航、搜索...
BeautifulSoup的简单介绍及简单用法
qq_44732013的博客
03-12 1692
BeautifulSoup的介绍及简单用法 1. 介绍 beautiful是一种用来解析html或xml文件并根据需要提取相关内容的python库，一般用来做数据挖掘（爬取数据，并解析数据） from bs4 import BeautifulSoup soup = BeautifulSoup(html_doc, 'html.parser')#，输入str,返回BeautifulSoup对象 type(soup) #bs4.BeautifulSoup print(soup.prettify())#使用pre
python爬虫（一）BeautifulSoup简介
Goudan_Wang的博客
05-05 1003
BeautifulSoup库的名字取自刘易斯·卡罗尔在《爱丽丝漫游仙境》里的同名诗歌。BeautifulSoup通过定位HTML标签来格式化和组织复杂的网络信息，用简单易用的python对象展现XML结构信息。一、安装Beautifulsoup1、windows平台①安装pip（安装python3时选择安装） ②利用pip安装bs4——命令行模式：`pip install BeautifulSou
Python爬虫之BeautifulSoup库函数解析
qq_31258245的博客
11-29 3660
Python爬虫之BeautifulSoup库函数解析简介Beautiful Soup 是用Python写的一个HTML/XML的解析器，它可以很好的处理不规范标记并生成剖析树(parse tree)。 它提供简单又常用的导航（navigating），搜索以及修改剖析树的操作。它可以大大节省你的编程时间。安装安装Python的包管理器pip，然后执行以下命令pip install beautiful
Python爬虫入门八之Beautiful Soup的用法
shengxiaweizhi的专栏
05-11 849
上一节我们介绍了正则表达式，它的内容其实还是蛮多的，如果一个正则匹配稍有差池，那可能程序就处在永久的循环之中，而且有的小伙伴们也对写正则表达式的写法用得不熟练，没关系，我们还有一个更强大的工具，叫Beautiful Soup，有了它我们可以很方便地提取出HTML或XML标签中的内容，实在是方便，这一节就让我们一起来感受一下Beautiful Soup的强大吧。 1. Beautiful Soup
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值