BS4解析库

最新推荐文章于 2024-08-08 15:42:55 发布
最新推荐文章于 2024-08-08 15:42:55 发布
阅读量1.1k 收藏 18
点赞数 6
分类专栏： 解析库 文章标签： bs4
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_45335208/article/details/103311029
版权

Beautiful Soup4解析库

一、简介

1.简介

BeautifulSoup 是一个从HTML或XML文件中提取数据的Python解析库，使用方式简单方便，借助网页的结构和属性等特性来解析网页

2.安装

pip install beautifulsoup4

3.官方中文文档

https://www.crummy.com/software/BeautifulSoup/bs4/doc/index.zh.html

二、解析器

1.解析器

解析器使用方法优势劣势
Python标准库BeautifulSoup(markup, “html.parser”)Python的内置标准库执行速度适中、文档容错能力强Python 2.7.3 or 3.2.2之前 的版本中文档容错能力差
lxml HTML解析器BeautifulSoup(markup, “lxml”)速度快、文档容错能力强需要安装C语言库
lxml XML解析器BeautifulSoup(markup, [“lxml”, “xml”])速度快、唯一支持XML的解析器需要安装C语言库
html5libBeautifulSoup(markup, “html5lib”)最好的容错性、以浏览器的方式解析文档生成HTML5格式的文档速度慢、不依赖外部扩展

lxml解析器有解析HTML和XML的功能，速度快，容错力强，推荐使用

2.初始化

from bs4 import BeautifulSoup

html_doc = ""
soup = BeautifulSoup(html_doc, "lxml")	# html_doc为HTML字符串，"lxml"为解析器的类型
print(type(soup))		# <class 'bs4.BeautifulSoup'>

3.基本用法

from bs4 import BeautifulSoup

html_doc = """
<html><head><title>The Dormouse's story</title></head>
<body>
<p class="title"><b>The Dormouse's story</b></p>

<p class="story">Once upon a time there were three little sisters; and their names were
<a href="http://example.com/elsie" class="sister" id="link1">Elsie</a>,
<a href="http://example.com/lacie" class="sister" id="link2">Lacie</a> and
<a href="http://example.com/tillie" class="sister" id="link3">Tillie</a>;
and they lived at the bottom of a well.</p>

<p class="story">...</p>
"""
soup = BeautifulSoup(html_doc, "lxml")
print(soup.prettify())	# 把要解析的字符串以标准的缩进格式输出，并且自动更正

************************************************************************
<html>
 <head>
  <title>
   The Dormouse's story
  </title>
 </head>
 <body>
  <p class="title">
   <b>
    The Dormouse's story
   </b>
  </p>
  <p class="story">
   Once upon a time there were three little sisters; and their names were
   <a class="sister" href="http://example.com/elsie" id="link1">
    Elsie
   </a>
   ,
   <a class="sister" href="http://example.com/lacie" id="link2">
    Lacie
   </a>
   and
   <a class="sister" href="http://example.com/tillie" id="link3">
    Tillie
   </a>
   ;
and they lived at the bottom of a well.
  </p>
  <p class="story">
   ...
  </p>
 </body>
</html>

三、节点选择器

1.选择元素

直接用节点名称选择节点元素，当有多个节点时只会匹配第一个节点，后面的会被忽略

from bs4 import BeautifulSoup

html_doc = """
<html><head><title>The Dormouse's story</title></head>
<body>
<p class="title"><b>The Dormouse's story</b></p>

<p class="story">Once upon a time there were three little sisters; and their names were
<a href="http://example.com/elsie" class="sister" id="link1">Elsie</a>,
<a href="http://example.com/lacie" class="sister" id="link2">Lacie</a> and
<a href="http://example.com/tillie" class="sister" id="link3">Tillie</a>;
and they lived at the bottom of a well.</p>

<p class="story">...</p>
"""
soup = BeautifulSoup(html_doc, "lxml")
print(soup.title)
print(type(soup.title))		# 为Tag类型
print(soup.a)	# 多个节点只匹配第一个
**********************************************************************
<title>The Dormouse's story</title>
<class 'bs4.element.Tag'>
<a class="sister" href="http://example.com/elsie" id="link1">Elsie</a>

2.提取信息

  • 获取名称：name
  • 获取所有属性：attrs 返回结果是字典形式
  • 获取某个属性：attrs[“要获取的属性”]、节点元素[“要获取的属性”]
  • 获取内容：string 返回结果是NavigableString类型
  • 获取内容：get_text() 返回结果是字符串类型
from bs4 import BeautifulSoup

html_doc = """
<html><head><title>The Dormouse's story</title></head>
<body>
<p class="title"><b>The Dormouse's story</b></p>

<p class="story">Once upon a time there were three little sisters; and their names were
<a href="http://example.com/elsie" class="sister" id="link1">Elsie</a>,
<a href="http://example.com/lacie" class="sister" id="link2">Lacie</a> and
<a href="http://example.com/tillie" class="sister" id="link3">Tillie</a>;
and they lived at the bottom of a well.</p>

<p class="story">...</p>
"""
soup = BeautifulSoup(html_doc, "lxml")
print(soup.a.name)
print(soup.a.attrs)
print(soup.a.attrs["id"])
print(soup.a["id"])
print(soup.title.string)
print(type(soup.title.string))
print(soup.title.get_text())
print(type(soup.title.get_text()))
**********************************************************************
a
{'href': 'http://example.com/elsie', 'class': ['sister'], 'id': 'link1'}
link1
link1
The Dormouse's story
<class 'bs4.element.NavigableString'>
The Dormouse's story
<class 'str'>

3.嵌套选择

Tag类型的基础上在此选择得到的依旧是Tag类型，因此能够嵌套选择

from bs4 import BeautifulSoup

html_doc = """
<html><head><title>The Dormouse's story</title></head>
<body>
<p class="title"><b>The Dormouse's story</b></p>

<p class="story">Once upon a time there were three little sisters; and their names were
<a href="http://example.com/elsie" class="sister" id="link1">Elsie</a>,
<a href="http://example.com/lacie" class="sister" id="link2">Lacie</a> and
<a href="http://example.com/tillie" class="sister" id="link3">Tillie</a>;
and they lived at the bottom of a well.</p>

<p class="story">...</p>
"""
soup = BeautifulSoup(html_doc, "lxml")
print(soup.head.title)
print(type(soup.head.title))
print(soup.head.title.string)
**********************************************************************
<title>The Dormouse's story</title>
<class 'bs4.element.Tag'>
The Dormouse's story

4.关联选择

  • 直接子节点：contents 返回结果是列表形式

  • 直接子节点：children 返回结果是生成器类型

  • 所有子孙节点：descendants 返回结果是生成器类型（它会递归查询所有的子节点，得到所有的子孙节点）

  • 父节点：parent

  • 祖先节点：parents 返回结果是生成器类型

  • 下一个兄弟节点：next_sibling

  • 上一个兄弟节点：previous_sibling

from bs4 import BeautifulSoup

html_doc = """
<html><head><title>The Dormouse's story</title></head>
<body>
<p class="title"><b>The Dormouse's story</b></p>

<p class="story">Once upon a time there were three little sisters; and their names were
<a href="http://example.com/elsie" class="sister" id="link1">Elsie</a>,
<a href="http://example.com/lacie" class="sister" id="link2">Lacie</a> and
<a href="http://example.com/tillie" class="sister" id="link3">Tillie</a>;
and they lived at the bottom of a well.</p>

<p class="story">...</p>
"""
soup = BeautifulSoup(html_doc, "lxml")
print("="*30 + "直接子节点")
print(soup.head.contents, type(soup.head.contents))
print(soup.head.children, type(soup.head.children))
print("="*30 + "所有子孙节点")
print(soup.head.descendants, type(soup.head.descendants))
for child in soup.head.descendants:
    print(child)
print("="*30 + "父节点")
print(soup.head.parent, type(soup.head.parent))
print("="*30 + "祖先节点")
print(soup.head.parents, type(soup.head.parents))
print("="*30 + "兄弟节点")
print(soup.a.next_sibling, type(soup.a.next_sibling))
print(soup.a.previous_sibling, type(soup.a.previous_sibling))
**********************************************************************
==============================直接子节点
[<title>The Dormouse's story</title>] <class 'list'>
<list_iterator object at 0x000002DFCB0F69E8> <class 'list_iterator'>
==============================所有子孙节点
<generator object Tag.descendants at 0x000002DFCB0C69A8> <class 'generator'>
<title>The Dormouse's story</title>
The Dormouse's story
==============================父节点
<html><head><title>The Dormouse's story</title></head>
<body>
<p class="title"><b>The Dormouse's story</b></p>
<p class="story">Once upon a time there were three little sisters; and their names were
<a class="sister" href="http://example.com/elsie" id="link1">Elsie</a>,
<a class="sister" href="http://example.com/lacie" id="link2">Lacie</a> and
<a class="sister" href="http://example.com/tillie" id="link3">Tillie</a>;
and they lived at the bottom of a well.</p>
<p class="story">...</p>
</body></html> <class 'bs4.element.Tag'>
==============================祖先节点
<generator object PageElement.parents at 0x000002DFCB0C69A8> <class 'generator'>
==============================兄弟节点
,
 <class 'bs4.element.NavigableString'>
Once upon a time there were three little sisters; and their names were
 <class 'bs4.element.NavigableString'>

四、方法选择器

1.find_all()

查询所有符合条件的元素，返回结果为列表形式

find_all(self, name=None, attrs={}, recursive=True, text=None, limit=None, **kwargs)
  • name：匹配节点名
  • attrs：匹配属性的键值对
  • text：匹配节点的文本
from bs4 import BeautifulSoup

html_doc = """
<html><head><title>The Dormouse's story</title></head>
<body>
<p class="title"><b>The Dormouse's story</b></p>

<p class="story">Once upon a time there were three little sisters; and their names were
<a href="http://example.com/elsie" class="sister" id="link1">Elsie</a>,
<a href="http://example.com/lacie" class="sister" id="link2">Lacie</a> and
<a href="http://example.com/tillie" class="sister" id="link3">Tillie</a>;
and they lived at the bottom of a well.</p>

<p class="story">...</p>
"""
soup = BeautifulSoup(html_doc, "lxml")
print(soup.find_all(name="a"))
print(soup.find_all(name="a")[0])
print(soup.find_all(attrs={"id": "link1"}))
print(soup.find_all(text="Elsie"))
**********************************************************************
[<a class="sister" href="http://example.com/elsie" id="link1">Elsie</a>, <a class="sister" href="http://example.com/lacie" id="link2">Lacie</a>, <a class="sister" href="http://example.com/tillie" id="link3">Tillie</a>]
<a class="sister" href="http://example.com/elsie" id="link1">Elsie</a>
[<a class="sister" href="http://example.com/elsie" id="link1">Elsie</a>]
['Elsie']

2.find()

返回第一个匹配的元素

from bs4 import BeautifulSoup

html_doc = """
<html><head><title>The Dormouse's story</title></head>
<body>
<p class="title"><b>The Dormouse's story</b></p>

<p class="story">Once upon a time there were three little sisters; and their names were
<a href="http://example.com/elsie" class="sister" id="link1">Elsie</a>,
<a href="http://example.com/lacie" class="sister" id="link2">Lacie</a> and
<a href="http://example.com/tillie" class="sister" id="link3">Tillie</a>;
and they lived at the bottom of a well.</p>

<p class="story">...</p>
"""
soup = BeautifulSoup(html_doc, "lxml")
print(soup.find(name="a"))
**********************************************************************
<a class="sister" href="http://example.com/elsie" id="link1">Elsie</a>

3.其他

…

五、CSS选择器

1.select()

调用select方法，传入相应的CSS选择器，返回结果为列表形式，支持嵌套选择

from bs4 import BeautifulSoup

html_doc = """
<html><head><title>The Dormouse's story</title></head>
<body>
<p class="title"><b>The Dormouse's story</b></p>

<p class="story">Once upon a time there were three little sisters; and their names were
<a href="http://example.com/elsie" class="sister" id="link1">Elsie</a>,
<a href="http://example.com/lacie" class="sister" id="link2">Lacie</a> and
<a href="http://example.com/tillie" class="sister" id="link3">Tillie</a>;
and they lived at the bottom of a well.</p>

<p class="story">...</p>
"""
soup = BeautifulSoup(html_doc, "lxml")
print(soup.select('title'))
print(soup.select('#link1'))
print(soup.select('.sister'))
**********************************************************************
[<title>The Dormouse's story</title>]
[<a class="sister" href="http://example.com/elsie" id="link1">Elsie</a>]
[<a class="sister" href="http://example.com/elsie" id="link1">Elsie</a>, <a class="sister" href="http://example.com/lacie" id="link2">Lacie</a>, <a class="sister" href="http://example.com/tillie" id="link3">Tillie</a>]

2.获取属性

直接传入[“属性名”]，或者通过attrs[“属性名”]

from bs4 import BeautifulSoup

html_doc = """
<html><head><title>The Dormouse's story</title></head>
<body>
<p class="title"><b>The Dormouse's story</b></p>

<p class="story">Once upon a time there were three little sisters; and their names were
<a href="http://example.com/elsie" class="sister" id="link1">Elsie</a>,
<a href="http://example.com/lacie" class="sister" id="link2">Lacie</a> and
<a href="http://example.com/tillie" class="sister" id="link3">Tillie</a>;
and they lived at the bottom of a well.</p>

<p class="story">...</p>
"""
soup = BeautifulSoup(html_doc, "lxml")
print(soup.select('a')[0]["id"])
print(soup.select('a')[0]["class"])		# class属性返回结果为列表
print(soup.select('a')[0].attrs["class"])
print(soup.select('a')[0].attrs["href"])
**********************************************************************
link1
['sister']
['sister']
http://example.com/elsie
埋首沉迷.
关注
专栏目录
Python BS4解析库用法详解
weixin_68789096的博客
02-29 1642
Beautiful Soup 简称 BS4（其中 4 表示版本号）是一个 Python 第三方库，它可以从 HTML 或 XML 文档中快速地提取指定的数据。Beautiful Soup 语法简单，使用方便，并且容易理解.图1：BS4官网LOGO图。
2024年最全【Python爬虫】数据解析之bs4解析和xpath解析_bs4 xpath
2401_84692513的博客
05-01 846
超文本标记语言，是我们编写网页的最基本同时也是最核心的一种语言，其语法规则就是用不同的标签对网页上的内容进行标记，从而使网页显示出不同的展示效果。” 标记了，这个时候，浏览器在展示的时候就会让里面的内容，也就是 ”数据解析“ 这。的语法就是用类似这样的标签对页面内容进行标记，不同的标签表示出来的效果也是不一样的。标签，都是一级标题，但是下面这个会显示在右边，也就是说，通过这种形式对。其实不是，我们要抓取的是点击图片进入的页面的高清图片，也就是如下。好的，标签我们明白了，接下来就是属性了。
从零开始写Python爬虫 --- 1.3 BS4库的解析器
技术、思维
10-02 1047
从零开始写Python爬虫 --- 1.3 BS4库的解析器 Ehco 5 个月前 bs4库之所以能快速的定位我们想要的元素，是因为他能够用一种方式将html文件解析了一遍 ，不同的解析器有不同的效果。下文将一一进行介绍。 bs4解析器的选择 网络爬虫的最终目的就是过滤选取网络信息，最重要的部分可以说是解析器。解析器的优劣决定了爬虫的速度和效率。bs4库除
python库介绍—Beautiful Soup
最新发布
qq_56262770的博客
08-08 1143
find() 方法与 find_all() 类似，不同之处在于 find_all() 会将文档中所有符合条件的结果返回，而 find() 仅返回一个符合条件的结果，所以 find() 方法没有。Python所有方向路线就是把Python常用的技术点做整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照上面的知识点去找对应的学习资源，保证自己学得较为全面。
bs4解析库
awuhuan5392的博客
04-23 233
beautifulsoup4 bs4解析库是灵活又方便的网页解析库，处理高效，支持多种解析器。利用它不用编写正则表达式即可方便地实现网页的提取 要解析的html标签 from bs4 import BeautifulSoup # 要解析的html标签 html_str = """ <li data_group="server" class="content"&g...
BS4库详解
weixin_30823833的博客
10-27 582
1 from bs4 import BeautifulSoup 2 3 4 5 6 html = """ 7 <html><head><title>This is a python demo page</title></head> 8 <body> 9 &lt...
bs4 库
taopad的博客
06-08 2132
Python bs4库bs4库简介安装方法使用方法导包获取内容或文件获取html标签属性及文本实例如有错误，请指正 bs4库简介 BeautifulSoup库是解析、遍历、维护标签树代码的功能库；名字为beautifulsoup4，简称bs4 安装方法 pip install beautifulsoup4 使用方法 导包 from bs4 import BeautifulSoup 获取内容或文件 html = BeautifulSoup(test, 'html.parser') #获取网页内容 获取h
Python爬虫BS4库的解析器正确使用方法
12-21
bs4库官方推荐我们使用的是lxml解析器，原因是它具有更高的效率，所以我们也将采用lxml解析器。 PS注意：很多人学Python过程中会遇到各种烦恼问题，没有人解答容易放弃。为此小编建了个Python全栈免费
Python BS4库的安装与使用详解
09-20
执行此命令后，pip会自动下载并安装BS4库及其依赖，如lxml解析器。为了验证安装是否成功，你可以运行`pip list`命令，查看已安装的库列表，确保beautifulsoup4出现在其中。 一旦安装完成，就可以开始使用BS4解析...
浅谈解析库XPath，bs4和pyquery
12-21
BeautifulSoup4（简称bs4）是另一个常用的Python解析库，尤其适用于HTML和XML的解析。它的设计理念是简单易用，通过创建 BeautifulSoup 对象，然后使用方法如`.find()`、`.find_all()`等来搜索和提取信息。例如，`...
从零开始写Python爬虫 --- 1.2 BS4库的安装与使用
技术、思维
10-02 1979
从零开始写Python爬虫 --- 1.2 BS4库的安装与使用 Ehco 5 个月前 Beautiful Soup 库一般被称为bs4库，支持Python3，是我们写爬虫非常好的第三方库。因用起来十分的简便流畅。所以也被人叫做“美味汤”。目前bs4库的最新版本是4.40。下文会介绍该库的最基本的使用，具体详细的细节还是要看：[官方文档](Beautiful Soup D
python中bs4_python bs4库
weixin_39603505的博客
12-03 140
Beautiful Soup parses anything you give it, and does the tree traversal stuff for you.BeautifulSoup库是解析、遍历、维护 “标签树” 的功能库(遍历，是指沿着某条搜索路线，依次对树中每个结点均做一次且仅做一次访问)。https://www.crummy.com/software/BeautifulSo...
python爬虫bs4库_Python爬虫--- 1.3 BS4库的解析器
weixin_33899835的博客
02-04 271
原文链接https://www.fkomm.cn/article/2018/7/20/18.htmlbs4库之所以能快速的定位我们想要的元素，是因为他能够用一种方式将 html 文件解析了一遍 ，不同的解析器有不同的效果。下文将一一进行介绍。bs4解析器的选择网络爬虫的最终目的就是过滤选取网络信息，最重要的部分可以说是解析器。解析器的优劣决定了爬虫的速度和效率。bs4库除了支持我们上文用过的‘ht...
bs4库简述
weixin_45414514的博客
07-28 590
1.首先用response=requests.get(url=url).content.decode(‘utf-8’)来获得网页源码。要先转为content或text（易乱码）格式才能被bs4解析 2.soup=BeautifulSoup(response.‘lxml’)解析源码，解析器为lxml（第三方），还有第一方解析器html.parser。 3.辨识html文件的标签和属性和所属文本内容。 用下面html文件（部分）演示。 <div class="song"> <p>李清照
python爬虫之bs4库_Python爬虫BS4库的解析器正确使用方法
weixin_39768388的博客
11-29 95
bs4库之所以能快速的定位我们想要的元素，是因为他能够用一种方式将html文件解析了一遍 ，不同的解析器有不同的效果。下文将一一进行介绍。bs4解析器的选择网络爬虫的最终目的就是过滤选取网络信息，最重要的部分可以说是解析器。解析器的优劣决定了爬虫的速度和效率。bs4库除了支持我们上文用过的‘html.parser’解析器外，还支持很多第三方的解析器，下面我们来对他们进行对比分析。bs4库官方推荐我...
bs4介绍
热门推荐
- 青崖 -
05-17 1万+
目录：1：bs4 简介1.1：bs4是什么1.2：有什么用1.3：有什么意义2：bs4源码分析2.1：为什么分析源码3：bs4快速入门3.1：创建一个soup对象3.2：bs4、xpath和re的比较3.3：bs4常用方法3.3.1：获取一个标签及标签里面的内容3.3.2：只获取一个标签里面的内容，不获取标签3.3.3：只获取标签名3.3.4：获取多个标签3.3.5：得到标签的属性值4：bs4的对象种类（了解）4.1：tag使用方法4.2：NavigableString 使用方法4.3：BeautifulS
bs4解析
weixin_52319637的博客
04-23 91
​使用bs4格式化输出代码推荐使用lxml作为解析器,因为效率更高. 在Python2.7.3之前的版本和Python3中3.2.2之前的版本,必须安装lxml或html5lib, 因为那些Python版本的标准库中内置的HTML解析方法不够稳定.
bs4的简单介绍
weixin_54812252的博客
06-08 5340
1.bs4介绍 BS4全称是Beatiful Soup，它提供一些简单的、python式的函数用来处理导航、搜索、修改分析树等功能。它是一个工具箱，通过解析文档为tiful Soup自动将输入文档转换为Unicode编码，输出文档转换为utf-8编码。 2.应用 #下载 pip install bs4 #使用步骤 from bs4 import BeautifulSoup soup = BeatifulSoup(res.text,'lxml') tag=soup.select("CSS选择器表达式") 其
python bs4库_python bs4库
weixin_30548481的博客
03-01 228
Beautiful Soup parses anything you give it, and does the tree traversal stuff for you.BeautifulSoup库是解析、遍历、维护 “标签树” 的功能库(遍历，是指沿着某条搜索路线，依次对树中每个结点均做一次且仅做一次访问)。https://www.crummy.com/software/BeautifulSo...
Python解析库XPath、bs4与pyquery解析对比
"这篇文章主要介绍了Python中的三种解析库——XPath、bs4和pyquery，用于提取网页HTML信息。作者通过个人经验分享了这三个库的基本使用和特点，旨在提供参考。 XPath是一种在XML文档中查找信息的语言，同时也适用于...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值