Python 爬虫利器二之 Beautiful Soup 的用法

于 2021-11-13 14:21:27 发布
阅读量1k 收藏 8
点赞数
分类专栏： python爬虫 文章标签： python 爬虫
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_29485549/article/details/121303996
版权

上一节我们介绍了正则表达式，它的内容其实还是蛮多的，如果一个正则匹配稍有差池，那可能程序就处在永久的循环之中，而且有的小伙伴们也对写正则表达式的写法用得不熟练，没关系，我们还有一个更强大的工具，叫 Beautiful Soup，有了它我们可以很方便地提取出 HTML 或 XML 标签中的内容，实在是方便，这一节就让我们一起来感受一下 Beautiful Soup 的强大吧。

1. Beautiful Soup 的简介

简单来说，Beautiful Soup 是 python 的一个库，最主要的功能是从网页抓取数据。官方解释如下：

Beautiful Soup 提供一些简单的、python 式的函数用来处理导航、搜索、修改分析树等功能。它是一个工具箱，通过解析文档为用户提供需要抓取的数据，因为简单，所以不需要多少代码就可以写出一个完整的应用程序。 Beautiful Soup 自动将输入文档转换为 Unicode 编码，输出文档转换为 utf-8 编码。你不需要考虑编码方式，除非文档没有指定一个编码方式，这时，Beautiful Soup 就不能自动识别编码方式了。然后，你仅仅需要说明一下原始编码方式就可以了。 Beautiful Soup 已成为和 lxml、html6lib 一样出色的 python 解释器，为用户灵活地提供不同的解析策略或强劲的速度。

废话不多说，我们来试一下吧～

2. Beautiful Soup 安装

Beautiful Soup 3 目前已经停止开发，推荐在现在的项目中使用 Beautiful Soup 4，不过它已经被移植到 BS4 了，也就是说导入时我们需要 import bs4 。所以这里我们用的版本是 Beautiful Soup 4.3.2 (简称 BS4)，另外据说 BS4 对 Python3 的支持不够好，不过我用的是 Python2.7.7，如果有小伙伴用的是 Python3 版本，可以考虑下载 BS3 版本。 可以利用 pip 或者 easy_install 来安装，以下两种方法均可

1

easy_install beautifulsoup4

1

pip install beautifulsoup4

如果想安装最新的版本，请直接下载安装包来手动安装，也是十分方便的方法。在这里我安装的是 Beautiful Soup 4.3.2 Beautiful Soup 3.2.1Beautiful Soup 4.3.2 下载完成之后解压 运行下面的命令即可完成安装

1

sudo python setup.py install

然后需要安装 lxml

1

easy_install lxml

1

pip install lxml

另一个可供选择的解析器是纯 Python 实现的 html5lib , html5lib 的解析方式与浏览器相同，可以选择下列方法来安装 html5lib:

1

easy_install html5lib

1

pip install html5lib

Beautiful Soup 支持 Python 标准库中的 HTML 解析器，还支持一些第三方的解析器，如果我们不安装它，则 Python 会使用 Python 默认的解析器，lxml 解析器更加强大，速度更快，推荐安装。

<thead”>

解析器

使用方法

优势

劣势

Python 标准库

BeautifulSoup(markup, “html.parser”)

  • Python 的内置标准库
  • 执行速度适中

  • 文档容错能力强

  • Python 2.7.3 or 3.2.2) 前 的版本中文档容错能力差

lxml HTML 解析器

BeautifulSoup(markup, “lxml”)

  • 速度快

  • 文档容错能力强

  • 需要安装 C 语言库

lxml XML 解析器

BeautifulSoup(markup, [“lxml”, “xml”])BeautifulSoup(markup, “xml”)

  • 速度快

  • 唯一支持 XML 的解析器

  • 需要安装 C 语言库

html5lib

BeautifulSoup(markup, “html5lib”)

  • 最好的容错性
  • 以浏览器的方式解析文档

  • 生成 HTML5 格式的文档

  • 速度慢

  • 不依赖外部扩展

3. 开启 Beautiful Soup 之旅

在这里先分享官方文档链接，不过内容是有些多，也不够条理，在此本文章做一下整理方便大家参考。 官方文档

4. 创建 Beautiful Soup 对象

首先必须要导入 bs4 库

1

from bs4 import BeautifulSoup

我们创建一个字符串，后面的例子我们便会用它来演示

1
2
3
4
5
6
7
8
9
10
11

html = """
<html><head><title>The Dormouse's story</title></head>
<body>
<p class="title" name="dromouse"><b>The Dormouse's story</b></p>
<p class="story">Once upon a time there were three little sisters; and their names were
<a href="http://example.com/elsie" class="sister" id="link1"><!-- Elsie --></a>,
<a href="http://example.com/lacie" class="sister" id="link2">Lacie</a> and
<a href="http://example.com/tillie" class="sister" id="link3">Tillie</a>;
and they lived at the bottom of a well.</p>
<p class="story">...</p>
"""

创建 beautifulsoup 对象

1

soup = BeautifulSoup(html)

另外，我们还可以用本地 HTML 文件来创建对象，例如

1

soup = BeautifulSoup(open('index.html'))

上面这句代码便是将本地 index.html 文件打开，用它来创建 soup 对象 下面我们来打印一下 soup 对象的内容，格式化输出

1

print soup.prettify()

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33

<html>
 <head>
  <title>
   The Dormouse's story
  </title>
 </head>
 <body>
  <p class="title" name="dromouse">
   <b>
    The Dormouse's story
   </b>
  </p>
  <p class="story">
   Once upon a time there were three little sisters; and their names were
   <a class="sister" href="http://example.com/elsie" id="link1">
    <!-- Elsie -->
   </a>
   ,
   <a class="sister" href="http://example.com/lacie" id="link2">
    Lacie
   </a>
   and
   <a class="sister" href="http://example.com/tillie" id="link3">
    Tillie
   </a>
   ;
and they lived at the bottom of a well.
  </p>
  <p class="story">
   ...
  </p>
 </body>
</html>

以上便是输出结果，格式化打印出了它的内容，这个函数经常用到，小伙伴们要记好咯。

5. 四大对象种类

Beautiful Soup 将复杂 HTML 文档转换成一个复杂的树形结构，每个节点都是 Python 对象，所有对象可以归纳为 4 种:

  • Tag
  • NavigableString
  • BeautifulSoup
  • Comment

下面我们进行一一介绍

（1）Tag

Tag 是什么？通俗点讲就是 HTML 中的一个个标签，例如

1

<title>The Dormouse's story</title>

1

<a class="sister" href="http://example.com/elsie" id="link1">Elsie</a>

上面的 title a 等等 HTML 标签加上里面包括的内容就是 Tag，下面我们来感受一下怎样用 Beautiful Soup 来方便地获取 Tags 下面每一段代码中注释部分即为运行结果

1
2

print soup.title
#<title>The Dormouse's story</title>

1
2

print soup.head
#<head><title>The Dormouse's story</title></head>

1
2

print soup.a
#<a class="sister" href="http://example.com/elsie" id="link1"><!-- Elsie --></a>

1
2

print soup.p
#<p class="title" name="dromouse"><b>The Dormouse's story</b></p>

我们可以利用 soup 加标签名轻松地获取这些标签的内容，是不是感觉比正则表达式方便多了？不过有一点是，它查找的是在所有内容中的第一个符合要求的标签，如果要查询所有的标签，我们在后面进行介绍。 我们可以验证一下这些对象的类型

1
2

print type(soup.a)
#<class 'bs4.element.Tag'>

对于 Tag，它有两个重要的属性，是 name 和 attrs，下面我们分别来感受一下 name

1
2
3
4

print soup.name
print soup.head.name
#[document]
#head

soup 对象本身比较特殊，它的 name 即为 [document]，对于其他内部标签，输出的值便为标签本身的名称。 attrs

1
2

print
最低0.47元/天 解锁文章
特讯网络
关注
  • 0
    点赞
  • 踩
  • 8
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
博客
Docker 的安装
11-14 1114
Docker 是一种容器技术，它可以将应用和环境等进行打包，形成一个独立的，类似于 iOS 的 APP 形式的「应用」，这个应用可以直接被分发到任意一个支持 Docker 的环境中，通过简单的命令即可启动运行。Docker 是一种最流行的容器化实现方案。和虚拟化技术类似，它极大的方便了应用服务的部署；又与虚拟化技术不同，它以一种更轻量的方式实现了应用服务的打包。使用 Docker 可以让每个应用彼此相互隔离，在同一台机器上同时运行多个应用，不过他们彼此之间共享同一个操作系统。Docker 的优势在于，它可以
博客
Helm 的安装
11-14 257
Helm 是 Kubernetes 的包管理器。相关链接官网：Helm 中文文档：Helm | Docs该指南展示了如何安装 Helm CLI。Helm 可以用源码或构建的二进制版本安装。下面的内容来自：Helm | 安装Helm，最新内容以该链接为准。用 Helm 项目安装Helm 项目提供了两种获取和安装 Helm 的方式。这是官方提供的获取 Helm 发布版本的方法。另外， Helm 社区提供了通过不同包管理器安装 Helm 的方法。这些方法可以在下面的官方方法之后看到。用
博客
Docker-Compose 的安装
11-14 93
Compose 是用于定义和运行多容器 Docker 应用程序的工具。通过 Compose，您可以使用 YML 文件来配置应用程序需要的所有服务。然后，使用一个命令，就可以从 YML 文件配置中创建并启动所有服务。如果你还不了解 YML 文件配置，可以先阅读YAML 入门教程。Compose 使用的三个步骤：使用 Dockerfile 定义应用程序的环境。 使用 docker-compose.yml 定义构成应用程序的服务，这样它们可以在隔离环境中一起运行。 最后，执行 docker-co.
博客
MySQL 的安装
11-13 1164
MySQL 是一个轻量级的关系型数据库，以表的形式来存储数据，本节我们来了解下它的安装方式。相关链接官方网站：MySQL 下载地址：MySQL :: MySQL Downloads 中文教程：MySQL 教程 | 菜鸟教程Windows 下的安装对于 Windows 来说，最安全稳妥的方式就是直接到官网下载安装包进行安装。可以访问官方网站下载，MySQL :: Download MySQL Community Server，如图所示：点击最大的 MySQL Installer 即可
博客
Splash 的安装
11-13 8477
Splash 是一个 JavaScript 渲染的工具，本节来介绍一下它的安装方式。准备工作Splash 建议的安装方式是通过 Docker，安装是通过 Docker 安装，在这之前请确保已经正确安装好了 Docker，可以参考：https://setup.scrape.center/docker。安装有了 Docker，只需要一键启动 Splash 即可，命令如下： 1 docker run -p 8050:8050 scrapinghub/splas
博客
adbutils 的安装
11-13 3151
adbutils 是 Python 中 adb 命令行的封装包。相关链接GitHub：https://github.com/openatx/adbutils PyPi：adbutils · PyPI安装方法pip 安装推荐使用 pip3 安装，命令如下： 1 pip3 install adbutils 命令执行完毕之后即可完成安装。验证安装安装完成之后，可以在 Python 命令行下测试，另外确保你的手机已经和电脑通过 USB
博客
retrying 库的安装
11-13 1011
retrying 提供了一些装饰器，使得我们非常方便地配置重试机制。本节我们了解下 retrying 的安装方式。相关链接GitHub：https://github.com/rholder/retrying PyPi：retrying · PyPI安装方法pip 安装推荐使用 pip3 安装，命令如下： 1 pip3 install retrying 命令执行完毕之后即可完成安装。验证安装安装完成之后，可以在 Python
博客
Pyppetter 库的安装
11-13 6454
Pyppeteer 是一个自动化测试框架，是 Puppteer 的 Python 版本。相关链接GitHub：https://github.com/pyppeteer/pyppeteer 文档：Pyppeteer’s documentation — Pyppeteer 0.0.25 documentation安装pip 安装推荐使用 pip3 安装，命令如下： 1 pip3 install pyppeteer 命令执行完毕之后即可完成安
博客
Redis 库的安装
11-13 1155
Redis 是一个基于内存的高效的非关系型数据库，本节我们来了解下 Redis 在各个平台的安装过程。相关链接官方网站：https://redis.io 官方文档：Redis 中文官网：http://www.redis.cn GitHub：https://github.com/antirez/redis 中文教程：Redis 教程 | 菜鸟教程 Redis Desktop Manager：https://redisdesktop.com Redis Desktop Manager Git
博客
Python 爬虫入门四之 Urllib 库的高级用法
11-13 104
1. 设置 Headers有些网站不会同意程序直接用上面的方式进行访问，如果识别有问题，那么站点根本不会响应，所以为了完全模拟浏览器的工作，我们需要设置一些 Headers 的属性。 首先，打开我们的浏览器，调试浏览器 F12，我用的是 Chrome，打开网络监听，示意如下，比如知乎，点登录之后，我们会发现登陆之后界面都变化了，出现一个新的界面，实质上这个页面包含了许许多多的内容，这些内容也不是一次性就加载完成的，实质上是执行了好多次请求，一般是首先请求 HTML 文件，然后加载 JS，CSS 等等，经
博客
Python 爬虫入门三之 Urllib 库的基本使用
11-13 757
那么接下来，小伙伴们就一起和我真正迈向我们的爬虫之路吧。1. 分分钟扒一个网页下来怎样扒网页呢？其实就是根据 URL 来获取它的网页信息，虽然我们在浏览器中看到的是一幅幅优美的画面，但是其实是由浏览器解释才呈现出来的，实质它是一段 HTML 代码，加 JS、CSS，如果把网页比作一个人，那么 HTML 便是他的骨架，JS 便是他的肌肉，CSS 便是它的衣服。所以最重要的部分是存在于 HTML 中的，下面我们就写个例子来扒一个网页下来。 1234 impor
博客
Python2 爬虫学习系列教程
11-13 219
前言之前我们用了 urllib 库，这个作为入门的工具还是不错的，对了解一些爬虫的基本理念，掌握爬虫爬取的流程有所帮助。入门之后，我们就需要学习一些更加高级的内容和工具来方便我们的爬取。那么这一节来简单介绍一下 requests 库的基本用法。注：Python 版本依然基于 2.7官方文档以下内容大多来自于官方文档，本文进行了一些修改和总结。要了解更多可以参考官方文档安装利用 pip 安装 1 $ pip install requests ..
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值