Python爬虫解析库之BeautifulSoup解析库详解

最新推荐文章于 2024-04-20 21:02:33 发布
最新推荐文章于 2024-04-20 21:02:33 发布
阅读量1.3k 收藏 11
点赞数 3
分类专栏： Python 爬虫解析库详解 文章标签： python爬虫 beautifulsoup 解析库
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_44205272/article/details/102230246
版权

BeautifulSoup解析库详解

BeautifulSoup是灵活又方便的网页解析库，处理高效，支持多种解析器
利用它不用编写正则表达式即可方便地实现网页信息的提取

安装

pip3 install beautifulsoup4

用法详解
解析器使用方法优势劣势
Python标准库BeautifulSoup(makeup,“html.parser”)python的内置标准库，执行速度适中，文档容错能力强python2.7 or python3.2.2前的版本中文容错能力差
lxml HTML解析器BeautifulSoup(makeup,“lxml”)速度快，文档容错能力强需要安装C语言库
lxm XML解析器BeautifulSoup(makeup,“xmlr”)速度快，唯一支持xml的解析器需要安装C语言库
html5libBeautifulSoup(makeup,“html5lib”)最好的容性，以浏览器方式解析文档速度慢，不依赖外部扩展
基本使用方法
import bs4
from bs4 import BeautifulSoup
 
#下面是一段不完整的 html代码
html = '''
<html><head><title>The Demouse's story</title></head>
<body>
<p class="title" name="dromouse"><b>The Domouse's story</b></p>
<p class="story">Once upon a time there were three little sisters,and their name were
<a href="http://examlpe.com/elele" class="sister" ld="link1"><!--Elsle--></a>
<a href="http://examlpe.com/lacie" class="sister" ld="link2"><!--Elsle--></a>
<a href="http://examlpe.com/title" class="sister" ld="link3"><title></a>
and they lived the bottom of a wall</p>
<p clas="stuy">..</p>
'''
 # 构建beautifulsoup对象
soup = BeautifulSoup(html,'lxml')
#将代码补全，也就是容错处理
print(soup.prettify())
print(soup.title.string)
输出结果为：
<html>
 <head>
  <title>
   The Demouse's story
  </title>
 </head>
 <body>
  <p class="title" name="dromouse">
   <b>
    The Domouse's story
   </b>
  </p>
  <p class="story">
   Once upon a time there were three little sisters,and their name were
   <a class="sister" href="http://examlpe.com/elele" ld="link1">
    <!--Elsle-->
   </a>
   <a class="sister" href="http://examlpe.com/lacie" ld="link2">
    <!--Elsle-->
   </a>
   <a class="sister" href="http://examlpe.com/title" ld="link3">
    <title>
    </title>
   </a>
   and they lived the bottom of a wall
  </p>
  <p clas="stuy">
   ..
  </p>
 </body>
</html>
The Demouse's story
标签选择器
from bs4 import BeautifulSoup
 
#下面是一段不完整的 html代码
html = '''
<html><head><title>The Demouse's story</title></head>
<body>
<p class="title" name="dromouse"><b>The Domouse's story</b></p>
<p class="story">Once upon a time there were three little sisters,and their name were
<a href="http://examlpe.com/elele" class="sister" ld="link1"><!--Elsle--></a>
<a href="http://examlpe.com/lacie" class="sister" ld="link2"><!--Elsle--></a>
<a href="http://examlpe.com/title" class="sister" ld="link3"><title></a>
and they lived the bottom of a wall</p>
<p clas="stuy">..</p>
'''
 
soup = BeautifulSoup(html,'lxml')
print(soup.title)
print(soup.title.name)   # 获取标题的名称
print(type(soup.title))  # 获取标题的类型
print(soup.head)
print(soup.p)
print(soup.p.attrs['name'])    # 获取属性
print(soup.p['name'])
标准选择器

find_all(name,attrs,recursive,text,**kwargs)
可根据标签名、属性、内容查找文档

根据name查找

from bs4 import BeautifulSoup
 
html = '''
<div class="panel">
    <div class="panel-heading">
        <h4>hello</h4>
    </div>
    <div class="panel-body">
        <url class="list" id="list-1">
            <li class="element">Foo</li>
            <li class="element">Bar</li>
            <li class="element">jay</li>
        </url>
        <url class="list list-small" id="list-2">
            <li lass="element">Foo</li>
            <li lass="element">Bar</li>
        </url>
    </div>
    </div>
'''
 
soup = BeautifulSoup(html,'lxml')
for url in soup.find_all('url'):
    print(url.find_all('li'))
 
输出结果为：
[<li class="element">Foo</li>, <li class="element">Bar</li>, <li class="element">jay</li>]
[<li lass="element">Foo</li>, <li lass="element">Bar</li>]

根据attrs进行查找：
attrs传入的参数为字典形式的参数，如：

from bs4 import BeautifulSoup
 
html = '''
<div class="panel">
    <div class="panel-heading">
        <h4>hello</h4>
    </div>
    <div class="panel-body">
        <url class="list" id="list-1" name='elements'>
            <li class="element">Foo</li>
            <li class="element">Bar</li>
            <li class="element">jay</li>
        </url>
        <url class="list list-small" id="list-2">
            <li lass="element">Foo</li>
            <li lass="element">Bar</li>
        </url>
    </div>
    </div>
'''
 
soup = BeautifulSoup(html,'lxml')
 
print(soup.find_all(attrs={'id':'list-1'}))#也可以soup.find_all(id='list-1')这样的来进行查找
print(soup.find_all(attrs={'name':'elements'}))
输出结果为：
[<url class="list" id="list-1" name="elements">
<li class="element">Foo</li>
<li class="element">Bar</li>
<li class="element">jay</li>
</url>]
[<url class="list" id="list-1" name="elements">
<li class="element">Foo</li>
<li class="element">Bar</li>
<li class="element">jay</li>
</url>]

利用test进行查找

from bs4 import BeautifulSoup
 
html = '''
<div class="panel">
    <div class="panel-heading">
        <h4>hello</h4>
    </div>
    <div class="panel-body">
        <url class="list" id="list-1" name='elements'>
            <li class="element">Foo</li>
            <li class="element">Bar</li>
            <li class="element">jay</li>
        </url>
        <url class="list list-small" id="list-2">
            <li lass="element">Foo</li>
            <li lass="element">Bar</li>
        </url>
    </div>
    </div>
'''
 
soup = BeautifulSoup(html,'lxml')
print(soup.find_all(text='Foo'))
输出结果为：
['Foo', 'Foo']　

find方法，用法跟find_all方法是完全一样的，只不过find_all返回所有元素，是一个列表，find返回单个元素，列表中的第一个值
find(name,attrs,recurslve,text,**kwargs)

CSS选择器

通过select()直接传入css选择器即可完成选择

from bs4 import BeautifulSoup
 
html = '''
<div class="panel">
    <div class="panel-heading">
        <h4>hello</h4>
    </div>
    <div class="panel-body">
        <url class="list" id="list-1" name='elements'>
            <li class="element">Foo</li>
            <li class="element">Bar</li>
            <li class="element">jay</li>
        </url>
        <url class="list list-small" id="list-2">
            <li class="element">Foo</li>
            <li class="element">Bar</li>
        </url>
    </div>
    </div>
'''
 
soup = BeautifulSoup(html,'lxml')
 
#如果选择的是class，需要加上一个点，.panel .panel-heading
print(soup.select('.panel .panel-heading'))
#直接选择标签
print(soup.select('url li'))
#选择id，要用#来选
print(soup.select('#list-2 .element'))
输出结果为：
[<div class="panel-heading">
<h4>hello</h4>
</div>]
[<li class="element">Foo</li>, <li class="element">Bar</li>, <li class="element">jay</li>, <li class="element">Foo</li>, <li class="element">Bar</li>]
[<li class="element">Foo</li>, <li class="element">Bar</li>]

获取属性
print(url[‘id’])
也可以使用print(url.attrs[‘id’])


获取内容

from bs4 import BeautifulSoup
 
html = '''
<div class="panel">
    <div class="panel-heading">
        <h4>hello</h4>
    </div>
    <div class="panel-body">
        <url class="list" id="list-1" name='elements'>
            <li class="element">Foo</li>
            <li class="element">Bar</li>
            <li class="element">jay</li>
        </url>
        <url class="list list-small" id="list-2">
            <li class="element">Foo</li>
            <li class="element">Bar</li>
        </url>
    </div>
    </div>
'''
 
soup = BeautifulSoup(html,'lxml')
 
for l in soup.select('li'):
    print(l.get_text())
输出结果为：
Foo
Bar
jay
Foo
Bar
!一直往南方开.
关注
  • 3
    点赞
  • 踩
  • 11
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 1
    评论
专栏目录
快速入门 Python 爬虫常用解析库(xpath、bs4)
Amo Xiang的博客
08-21 1794
目录第一章 XPath 解析第二章 Beautiful Soup 模块 第一章 XPath 解析 在 Python 中可以支持 XPath 提取数据的解析模块有很多，本文主要介绍 lxml 模块，该模块可以解析 HTML 与 XML，并且支持 XPath 解析方式。由于 lxml 模块 为第三方模块，需要通过 pip install lxml 命令安装该模块。lxml 模块 的底层是通过C语言编写的，所以在解析效率方面是非常优秀的。xpath 语法参考学习网站：https://www.w3school.co
python爬虫学习笔记之Beautifulsoup模块用法详解
09-17
**Python 爬虫Beautifulsoup模块详解** 在Python爬虫领域，Beautifulsoup是一个不可或缺的工具，它是一个用于从HTML或XML文件中提取数据的库。它提供了简单的API，使得开发者可以方便地对网页进行导航、搜索和修改...
python 爬虫之 BeautifulSoup 库详解
关注微信公众号 【全栈黑科技】，回复【学习资源】。 领取多年珍藏的学习资源，提升认知。
09-25 618
BeautiflSoup4 库是一个可以从HTML或XML文件中提取数据的Python库，是一个非常好用的Html解析库。 安装bs4：pip install beautifulsoup4安装解析器：pip install lxml详细操作方法请参考BeautifulSoup4库官方文档 BeautifulSoup4库文档学习python的同道可以关注下我的公众号， 不定期发送python 干
Python爬虫 解析库的使用
maplecsd的博客
05-18 1566
第三章 解析库的使用 3.1BeautifulSoup BeautifulSoup也被称作为”美味汤“，BeautifulSoup提供了一些简单的、Python式的函数来处理导航、搜索、修改和分析树等功能。它是一个工具箱，通过解析文档为用户提供需要抓取的数据。BeautifulSoup已成为和lxml、html6lib一样出色的Python解释器，为用户灵活的提供不同的解析策略或强劲的速度。 作者提示：当你学习了Xpath后，你会发现BeautifulSoup是非常不好用的，并且学了Xpath之后
python爬虫解析库_python爬虫笔记——解析库的安装
weixin_39758494的博客
12-22 161
解析库的安装抓取网页代码之后，就是从网页中提取信息。提取方式有多种多样，可以使用正则来提取，但写起来比较繁琐。但是有很多强大得解析库，如lxml、Beautiful Soup、pyquery等。此外，还提供了非常强大得解析方法，如XPath解析和CSS选择器解析等，可以利用它们高效便捷地从网页中提取有效信息。lxml的安装lxml是python的一个解析库，支持HTML和XML的解析，支持XPat...
Python爬虫利器之解析库的使用
weixin_44617651的博客
03-31 563
对于一个刚学Python爬虫的新手来说，学习Python爬虫里面的「解析库的使用」如果没有超强记忆力，估计是边学边忘，正所谓好记性不如烂笔头，在自己学些爬虫相关的知识点可以记录下来然后多次实践肯定比单凭记忆力要记得牢，下面我就把我学习的一些解析库的知识整理出来，供大家参考下。
Python HTML解析器BeautifulSoup用法实例详解【爬虫解析器】
09-19
### Python HTML解析器BeautifulSoup用法实例详解 #### 一、概述 BeautifulSoup是一个非常流行的Python库，用于从HTML和XML文件中提取数据。对于Web爬虫开发者来说，这是一个非常有用的工具，因为它可以帮助他们...
Python爬虫库BeautifulSoup的介绍与简单使用实例
09-18
### Python爬虫库BeautifulSoup的介绍与简单使用实例 #### 一、介绍 **BeautifulSoup** 是一个功能强大且易于使用的Python库，主要用于从HTML或XML文件中提取数据。它支持多种解析器，并且能够有效地处理各种网页...
Python使用BeautifulSoup库解析HTML基本使用教程
09-21
### Python使用BeautifulSoup库解析HTML基本使用教程 #### 概述 在当今互联网时代，从网页上抓取数据成为了一项重要的技能。Python作为一种强大的编程语言，提供了多种库来实现这一目的，其中BeautifulSoup是最为...
python爬虫解析库初学
cuichunmei的博客
06-01 534
       解析库的使用等价于在HTML中查找需要的信息时时使用正则，能够更加快捷地定位到具体的元素获取相应的信息。这里主要简单地介绍XPath，Beautiful Soup的用法，纵向学习对比两种库的用法。from lxml import etree from bs4 import BeautifulSoup将文本/文件/URL转为对应的类型获取数据lxml可以读字符串和文件格式的html文档...
5、BeautifulSoup解析库详解
qq_37232731的博客
09-02 783
本篇博文是自己在学习崔庆才的《Python3网络爬虫开发实战教程》的学习笔记系列 BeautifulSoup解析库详解 1、BeautifulSoup解析库简介 BeautifulSoup是Python的一个HTML或XML解析库，灵活又方便的网页解析库，处理高效，支持多种解析器。最主要的功能就是不用编写正则表达式即可方便的从网页爬取我们需要的数据。 BeautifulSoup将html解析...
Python网络爬虫之解析库
weeping_cat的博客
09-12 540
Xpath，全称XML path language，即XML路径语言，它是一门在XML文档中查找信息的语言，但是它同样适用于HTML文档的搜索 XPath常用规则 表达式 描述 nodename 选取此节点的所有子节点 / 从当前节点选取直接子节点 // 从当...
python爬虫-3 解析库
千寻的博客
04-05 275
1.XPath 2.BeautifulSoup import requests from bs4 import BeautifulSoup headers = {'Accept-Encoding': 'gzip, deflate', 'Accept-Language': 'zh-CN,zh;q=0.8', 'Connection': 'k...
python爬虫常用的解析库
JONE_WUQINGJIANG的博客
07-25 1267
python支持很多很强大的解析库。下面我总结了几种，基本上熟练掌握一两个解析这块就没任何问题了。 1.XPath XPath 全称 XML Path Language ，即 XML 路径语言，它是一门在 XML 文档中查找信息的语言 它最初是用来搜寻 XML 文档的，但是它同样适用于 HTML 文档的搜索 使用之前安装好 lxml 库 如果想查询更多 XPath 的用法，可以查看： http...
python解析库 爬虫_python 爬虫（二）- 解析库 的简单使用
weixin_39951396的博客
12-16 67
当我们在获取到网页相应内容的时候， 就会使用去解析它 过滤得到想要的内容正则relxml 库Beautiful SouppyqueryJsonPath示例响应内容http://quotes.toscrape.com/ 截取部分内容， 以下所有例子将以这个响应内容来示范， 假设响应的内容字符串 定义为一个变量 content一、正则re使用python 中内置的模块 re正则模块如解析页面 上所有的...
【Python】【进阶篇】二十二、Python爬虫的BS4解析库
deepboat的博客
04-18 1162
【Python】【进阶篇】二十二、Python爬虫的BS4解析库
Python爬虫基础(二)—— 使用解析库
hellocoding的博客
03-17 484
文章目录使用XPathXPath常用规则例子引入获取所有节点子节点父节点属性匹配文本获取属性获取含有多个值的属性的匹配根据多条属性来获取节点根据出现的次序筛选同样符合条件的节点集节点轴选择使用Beautiful Soup基本用法节点选择器选择元素提取相关信息(1). 获取节点名称(2). 获取属性值(3). 获取节点内内容嵌套选择关联选择(1). 子节点和子孙节点(2). 父节点和祖先节点(3)....
项目七：学会使用python爬虫解析库（小白大成级）
最新发布
2201_75876277的博客
04-20 823
前期我们学会了怎么使用python爬虫请求库和解析库的简单应用和了解，同时能够对爬虫有一个较为清晰的体系，毕竟简单的爬虫基本上都是请求数据——解析数据——存储数据的大概流程。综上所述，这段代码演示了如何使用lxml库中的etree模块创建XML树、添加子元素及属性，并将XML树转换为字符串后打印出来。综上所述，这段代码演示了如何使用lxml库中的etree模块解析HTML，并使用XPath提取链接的href属性并打印出来。可以看到控制台输出的结果是简单的xml树结构，以及子元素具有属性和文本内容的情况。
python爬虫智能解析库详解
爱python的王三金
11-24 2946
文章很长 请耐心阅读 什么是爬虫 爬虫是做什么的？是帮助我们来快速获取有效信息的。然而做过爬虫的人都知道，解析是个麻烦事。比如一篇新闻吧，链接是这个: https://news.ifeng.com/c/7kQcQG2peWU，页面预览图如下： 我们需要从页面中提取出标题、发布人、发布时间、发布内容、图片等内容。一般情况下我们需要怎么办？写规则。 那么规则都有什么呢？怼正则，怼 CSS 选择器...
Python爬虫解析SNMP系统内容：BeautifulSoup使用详解
"查看SNMP的系统内容-python爬虫之beautifulsoup 使用select方法详解" 本文主要介绍了如何使用Python的BeautifulSoup库来爬取和解析SNMP系统的相关信息。在IT行业中，SNMP（简单网络管理协议）是一种广泛用于监控...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

!一直往南方开.

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值