爬虫：BeautifulSoup

最新推荐文章于 2023-07-06 21:52:05 发布
最新推荐文章于 2023-07-06 21:52:05 发布
阅读量538 收藏
点赞数
分类专栏： python

Beautiful Soup 是用 Python 写的一个 HTML/XML 的解析器，它可以很好的处理不规范标记并生成剖析树。通常用来分析爬虫抓取的web文档。对于 不规则的 Html文档，也有很多的补全功能，节省了开发者的时间和精力。

Beautiful Soup 的官方文档齐全，将官方给出的例子实践一遍就能掌握。官方

英文文档，

中文文档    http://www.crummy.com/software/BeautifulSoup/bs3/documentation.zh.html#Applications%20that%20use%20Beautiful%20Soup

一 安装 Beautiful Soup

安装 BeautifulSoup 很简单，下载 BeautifulSoup  源码。解压运行

python setup.py install 即可。

测试安装是否成功。键入 import BeautifulSoup 如果没有异常，即成功安装

二 使用 BeautifulSoup

1. 导入BeautifulSoup ，创建BeautifulSoup 对象

1
2
3
4
5
6
7
8
9
10
11
12
from BeautifulSoup import BeautifulSoup           # HTML
from BeautifulSoup import BeautifulStoneSoup      # XML
import BeautifulSoup                              # ALL
                                                                                               
doc = [
     '<html><head><title>Page title</title></head>' ,
     '<body><p id="firstpara" align="center">This is paragraph <b>one</b>.' ,
     '<p id="secondpara" align="blah">This is paragraph <b>two</b>.' ,
     '</html>'
]
# BeautifulSoup 接受一个字符串参数
soup = BeautifulSoup(''.join(doc))

2. BeautifulSoup对象简介

用BeautifulSoup 解析 html文档时，BeautifulSoup将 html文档类似 dom文档树一样处理。BeautifulSoup文档树有三种基本对象。

2.1. soup BeautifulSoup.BeautifulSoup

1
2
type (soup)
< class 'BeautifulSoup.BeautifulSoup' >

2.2. 标记 BeautifulSoup.Tag

1
2
type (soup.html)
< class 'BeautifulSoup.Tag' >

2.3 文本 BeautifulSoup.NavigableString

1
2
type (soup.title.string)
< class 'BeautifulSoup.NavigableString' >

3. BeautifulSoup 剖析树

3.1 BeautifulSoup.Tag对象方法

获取 标记对象（Tag）

标记名获取法 ，直接用 soup对象加标记名，返回 tag对象.这种方式，选取唯一标签的时候比较有用。或者根据树的结构去选取，一层层的选择

1
2
3
4
5
6
7
>>> html = soup.html
>>> html
< html >< head >< title >Page title</ title ></ head >< body >< p id = "firstpara" align = "center" >This is paragraph< b >one</ b >.</ p >< p id = "secondpara" align = "blah" >This is paragraph< b >two</ b >.</ p ></ body ></ html >
>>> type(html)
< class 'BeautifulSoup.Tag'>
>>> title = soup.title
< title >Page title</ title >

content方法

content方法 根据文档树进行搜索，返回标记对象（tag）的列表

1
2
>>> soup.contents
[<html><head><title>Page title< / title>< / head><body><p id = "firstpara" align = "center" >This is paragraph<b>one< / b>.< / p><p id = "secondpara" align = "blah" >This is paragraph<b>two< / b>.< / p>< / body>< / html>]
1
2
3
4
5
6
>>> soup.contents[ 0 ].contents
[<head><title>Page title< / title>< / head>, <body><p id = "firstpara" align = "center" >This is paragraph<b>one< / b>.< / p><p id = "secondpara" align = "blah" >This is paragraph<b>two< / b>.< / p>< / body>]
>>> len (soup.contents[ 0 ].contents)
2
>>> type (soup.contents[ 0 ].contents[ 1 ])
< class 'BeautifulSoup.Tag' >

使用contents向后遍历树，使用parent向前遍历树

next 方法

获取树的子代元素，包括 Tag 对象 和 NavigableString 对象。。。

1
2
3
4
>>> head. next
<title>Page title< / title>
>>> head. next . next
u 'Page title'
1
2
3
4
5
>>> p1 = soup.p
>>> p1
<p id = "firstpara" align = "center" >This is paragraph<b>one< / b>.< / p>
>>> p1. next
u 'This is paragraph'

nextSibling 下一个兄弟对象 包括 Tag 对象 和 NavigableString 对象

1
2
3
4
>>> head.nextSibling
<body><p id = "firstpara" align = "center" >This is paragraph<b>one< / b>.< / p><p id = "secondpara" align = "blah" >This is paragraph<b>two< / b>.< / p>< / body>
>>> p1. next .nextSibling
<b>one< / b>

与 nextSibling 相似的是 previousSibling，即上一个兄弟节点。

replacewith方法

将对象替换为，接受字符串参数

1
2
3
4
5
6
7
8
9
10
11
12
>>> head = soup.head
>>> head
<head><title>Page title< / title>< / head>
>>> head.parent
<html><head><title>Page title< / title>< / head><body><p id = "firstpara" align = "center" >This is paragraph<b>one< / b>.< / p><p id = "secondpara" align = "blah" >This is paragraph<b>two< / b>.< / p>< / body>< / html>
>>> head.replaceWith( 'head was replace' )
>>> head
<head><title>Page title< / title>< / head>
>>> head.parent
>>> soup
<html>head was replace<body><p id = "firstpara" align = "center" >This is paragraph<b>one< / b>.< / p><p id = "secondpara" align = "blah" >This is paragraph<b>two< / b>.< / p>< / body>< / html>
>>>

搜索方法

搜索提供了两个方法，一个是 find，一个是findAll。这里的两个方法(findAll和 find)仅对Tag对象以及，顶层剖析对象有效，但 NavigableString不可用。

findAll(name, attrs, recursive, text, limit, **kwargs)

接受一个参数，标记名

寻找文档所有 P标记，返回一个列表

1
2
3
4
>>> soup.findAll( 'p' )
[<p id = "firstpara" align = "center" >This is paragraph<b>one< / b>.< / p>, <p id = "secondpara" align = "blah" >This is paragraph<b>two< / b>.< / p>]
>>> type (soup.findAll( 'p' ))
< type 'list' >

寻找 id="secondpara"的 p 标记，返回一个结果集

1
2
3
>>> pid = type (soup.findAll( 'p' , id = 'firstpara' ))
>>> pid
< class 'BeautifulSoup.ResultSet' >

传一个属性或多个属性对

1
2
3
4
5
>>> p2 = soup.findAll( 'p' ,{ 'align' : 'blah' })
>>> p2
[<p id = "secondpara" align = "blah" >This is paragraph<b>two< / b>.< / p>]
>>> type (p2)
< class 'BeautifulSoup.ResultSet' >

利用正则表达式

1
2
>>> soup.findAll( id = re. compile ( "para$" ))
[<p id = "firstpara" align = "center" >This is paragraph<b>one< / b>.< / p>, <p id = "secondpara" align = "blah" >This is paragraph<b>two< / b>.< / p>]

读取和修改属性

1
2
3
4
5
6
7
8
9
10
11
12
>>> p1 = soup.p
>>> p1
<p id = "firstpara" align = "center" >This is paragraph<b>one< / b>.< / p>
>>> p1[ 'id' ]
u 'firstpara'
>>> p1[ 'id' ] = 'changeid'
>>> p1
<p id = "changeid" align = "center" >This is paragraph<b>one< / b>.< / p>
>>> p1[ 'class' ] = 'new class'
>>> p1
<p id = "changeid" align = "center" class = "new class" >This is paragraph<b>one< / b>.< / p>
>>>

剖析树基本方法就这些，还有其他一些，以及如何配合正则表达式。具体请看官方文档

 

3.2 BeautifulSoup.NavigableString对象方法

NavigableString  对象方法比较简单，获取其内容

1
2
3
4
5
6
7
8
9
>>> soup.title
<title>Page title< / title>
>>> title = soup.title. next
>>> title
u 'Page title'
>>> type (title)
< class 'BeautifulSoup.NavigableString' >
>>> title.string
u 'Page title'

 

至于如何遍历树，进而分析文档，已经 XML 文档的分析方法，可以参考官方文档。


easonworld
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
课时11：BeautifulSoup库详解.rar
03-01
Python3 爬虫实战Python3 爬虫实战Python3 爬虫实战Python3 爬虫实战Python3 爬虫实战Python3 爬虫实战Python3 爬虫实战Python3 爬虫实战Python3 爬虫实战
BeautifulSoup4用法详解
菲宇运维
03-31 1万+
1. Beautiful Soup的简介 Beautiful Soup提供一些简单的、python式的函数用来处理导航、搜索、修改分析树等功能。它是一个工具箱，通过解析文档为用户提供需要抓取的数据，因为简单，所以不需要多少代码就可以写出一个完整的应用程序。 Beautiful Soup自动将输入文档转换为Unicode编码，输出文档转换为utf-8编码。你不需要考虑编码方式，除非文档没有指定一...
BeautifulSoup库详解（个人整理）
weixin_47476051的博客
05-02 7940
1.解析库 灵活又方便的网页解析库，处理高效，支持多种解析器。 利用它不用编写正则表达式即可方便地实现网页信息的提取。 安装：pip3 install BeautifulSoup4 解析器 使用方法 优势 劣势 Python标准库 BeautifulSoup(markup, “html.parser”) Python的内置标准库、执行速度适中 、文档容错能力强 Python 2.7...
Beautiful Soup 基本使用方法
songshao の blog
06-06 6万+
我们就来介绍一个强大的解析工具Beautiful Soup，它借助网页的结构和属性等特性来解析网页。有了它，我们不用再去写一些复杂的正则表达式，只需要简单的几条语句，就可以完成网页中某个元素的提取。 1、简介 简单来说，Beautiful Soup就是Python的一个HTML或XML的解析库，可以用它来方便地从网页中提取数据。官方解释如下： Beautiful Soup提供一些简单的、Py...
python beautiful soup库的用法
weixin_34127717的博客
03-09 2709
参考：http://cuiqingcai.com/1319.html Beautiful Soup 4.2.0 文档 1. Beautiful Soup 简介 简单来说，Beautiful Soup是python的一个库，最主要的功能是从网页抓取数据。官方解释如下： Beautiful Soup提供一些简单的、python式的函数用来处理导航、搜索...
beautifulsoup菜鸟教程
shenyuan12的专栏
08-16 4万+
BeautifulSoup4是爬虫必学的技能。BeautifulSoup最主要的功能是从网页抓取数据，Beautiful Soup自动将输入文档转换为Unicode编码，输出文档转换为utf-8编码。BeautifulSoup支持Python标准库中的HTML解析器,还支持一些第三方的解析器，如果我们不安装它，则 Python 会使用 Python默认的解 一、BeautifulSoup4简介 BeautifulSoup4和 lxml 一样，Beautiful Soup 也是一个HTML/XML的解析器
Python爬虫包BeautifulSoup简介与安装（一）
09-20
主要为大家详细介绍了Python爬虫包BeautifulSoup的简介与安装，具有一定的参考价值，感兴趣的朋友可以参考一下
Python爬虫之BeautifulSoup库
12-22
文章目录1、BeautifulSoup库的介绍2、常用API介绍2.1、prettify()2.2、简单选择元素并获取属性、内容2.3、多级选择、关联选择2.4、find_all()等方法2.5、CSS选择器3、总结 1、BeautifulSoup库的介绍   因为HTML...
Python爬虫包BeautifulSoup异常处理（二）
09-20
主要为大家详细介绍了Python爬虫包BeautifulSoup的异常处理，具有一定的参考价值，感兴趣的朋友可以参考一下
Python爬虫基础（2） —— BeautifulSoup(解析数据，提取数据)
01-20
爬虫的四个步骤就是： 第零步：获取数据用到的是requests库，用这个库来解决数据获取问题 第一步：BeautifulSoup 用来解析和提取网页中的数据 解析数据：我们平时使用浏览器上网，浏览器会把服务器返回的HTML源代码...
BeautifulSoup安装、使用和示例
weixin_63332876的博客
03-21 2811
BeautifulSoup安装及使用
【Python beautifulsoup】详细介绍beautifulsoup库的使用方法，包括安装方式、基本用法、常用方法和技巧，以及结合lxml和parsel的具体使用场景和区别。
最新发布
weixin_50409347的博客
07-06 5043
Python beautifulsoup库是一个强大的Web抓取和解析库，它提供了丰富的功能和简单易用的API，可以帮助我们处理HTML和XML文档，从中提取数据，进行数据清洗和处理。beautifulsoup库基于Python标准库中的html.parser模块，同时还可以与第三方解析库lxml和parsel配合使用，提供更高效和灵活的解析方式。本文将详细介绍beautifulsoup库的使用方法，包括安装方式、基本用法、常用方法和技巧，以及结合lxml和parsel的具体使用场景和区别。
BeautifulSoup库的基本使用
m0_46926492的博客
10-23 2888
【代码】BeautifulSoup库的基本使用。
Python爬虫小白入门（三）BeautifulSoup库
2201_75362610的博客
07-04 1252
上一篇演示了如何使用requests模块向网站发送http请求，获取到网页的HTML数据。这篇来演示如何使用BeautifulSoup模块来从HTML文本中提取我们想要的数据。update on 2016-12-28：之前忘记给BeautifulSoup的官网了，今天补上，顺便再补点BeautifulSoup的用法。update on 2017-08-16：很多网友留言说Unsplash网站改版了，很多内容是动态加载的。
Beautifulsoup 库 -- 01 -- 安装及使用
S_numb的博客
09-09 8231
文章目录1. 安装2. 快速使用3. 对象的种类3.1 Tag3.1.1 Name 属性3.1.2 Attributes3.1.3 多值属性3.2 可以遍历的字符串 NavigableString3.3 BeautifulSoup3.4 注释及特殊字符串 Comment Beautiful Soup 是一个可以从 HTML 或 XML 文件中提取数据的 Python 库. 1. 安装 安装 Beautiful Soup pip 安装：pip install beautifulsoup4 安装解析
crawler(四)：beautiful soup库
错位的梦寐的博客
09-20 1044
Beautiful Soup 简介 Beautiful Soup是python的一个库，最主要的功能是从网页抓取数据。官方解释如下： Beautiful Soup提供一些简单的、python式的函数用来处理导航、搜索、修改分析树等功能。它是一个工具箱，通过解析文档为用户提供需要抓取的数据，因为简单，所以不需要多少代码就可以写出一个完整的应用程序。Beautiful Soup自动将输入文档转换为Un...
Python爬虫：BeautifulSoup库
不怕猫的耗子A
08-12 1万+
Beautiful Soup的简介 Beautiful Soup是python的一个库，最主要的功能是从网页抓取数据。官方解释如下： 1、Beautiful Soup提供一些简单的、python式的函数用来处理导航、搜索、修改分析树等功能。它是一个工具箱，通过解析文档为用户提供需要抓取的数据，因为简单，所以不需要多少代码就可以写出一个完整的应用程序。 2、Beautiful Soup自动将输...
BeautifulSoup基本用法总结
热门推荐
kikaylee的专栏
02-24 8万+
BeautifulSoup是Python的一个库，最主要的功能就是从网页爬取我们需要的数据。BeautifulSoup将html解析为对象进行处理，全部页面转变为字典或者数组，相对于正则表达式的方式，可以大大简化处理过程。
BeautifulSoup的基本使用
hacker707的博客
03-21 1万+
BeautifulSoup是一个用于从HTML和XML文件中提取数据的python模块。BeautifulSoup模块的查找提取功能非常强大，而且使用起来非常便捷，可以节约很多时间
爬虫实例BeautifulSoup
05-27
好的，以下是一个使用BeautifulSoup爬虫的示例代码： ```python import requests from bs4 import BeautifulSoup url = "https://www.example.com" # 替换为你要爬取的网站的URL response = requests.get(url) soup = BeautifulSoup(response.content, 'html.parser') # 找到网页中的所有链接 links = soup.find_all('a') for link in links: print(link.get('href')) ``` 这段代码会请求指定的URL，然后使用BeautifulSoup解析网页的HTML内容。接着，它会查找HTML中所有的链接标签a，并将它们的href属性打印出来。你可以根据自己的需求修改代码来爬取其他信息。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值