Python爬虫：想听榜单歌曲？使用BeautifulSoup库只需要14行代码即可搞定

最新推荐文章于 2024-02-24 19:08:37 发布

李元静

最新推荐文章于 2024-02-24 19:08:37 发布

阅读量2.1k

点赞数 19

分类专栏：一天一篇Python库 Python 文章标签： python 爬虫 BeautifulSoup bs4 CSS选择器

本文链接：https://blog.csdn.net/liyuanjinglyj/article/details/118893058

版权

本文介绍了使用Python的BeautifulSoup库进行网页爬取的基本操作，包括安装库、选择解释器、使用节点选择器、方法选择器以及CSS选择器。通过实战例子，展示了如何仅用14行代码抓取酷狗音乐飙升榜的歌曲信息，强调了BeautifulSoup库的高效和便捷。

摘要由CSDN通过智能技术生成

BeautifulSoup库

虽然说XPath比正则表达式用起来方便，但是没有最方便，只有更方便。我们的BeautifulSoup库就能做到更方便的爬取想要的东西。

安装BeautifulSoup库

使用之前，还是老规矩，先安装BeautifulSoup库，指令如下：

pip install beautifulsoup4

其中文开发文档：

https://www.crummy.com/software/BeautifulSoup/bs4/doc/index.zh.html

BeautifulSoup库简介

BeautifulSoup库是一个强大的Python语言的XML和HTML解析库。它提供了一些简单的函数来处理导航、搜索、修改分析树等功能。

BeautifulSoup库还能自动将输入的文档转换为Unicode编码，输出文档转换为UTF-8编码。

所以，在使用BeautifulSoup库的过程中，不需要开发中考虑编码的问题，除非你解析的文档，本身就没有指定编码方式，这才需要开发中进行编码处理。

下面，我们来详细介绍BeautifulSoup库的使用规则。

选择解释器

下面，我们来详细介绍BeautifulSoup库的重点知识。

首先，BeautifulSoup库中一个重要的概念就是选择解释器。因为其底层依赖的全是这些解释器，我们有必要认识一下。博主专门列出了一个表格：

解释器	使用方式	优点	缺点
Python标准库	BeautifulSoup(code,‘html.parser’)	Python的内置标准库，执行速度适中，容错能力强	Python2.7.3以及Python3.2.2之前的版本容错能力差
lxml HTML解析器	BeautifulSoup(code,‘lxml’)	解析速度快，容错能力强	需要安装C语言库
lxml XML解析器	BeautifulSoup(code,‘xml’)	解析速度快，唯一支持XML的解析器	需要安装C语言库
html5lib	BeautifulSoup(code,‘html5lib’)	最好的容错性，以浏览器的方式解析文档，生成HTML5格式的文档	解析速度慢

从上面表格观察，我们一般爬虫使用lxml HTML解析器即可，不仅速度快，而且兼容性强大，只是需要安装C语言库这一个缺点（不能叫缺点，应该叫麻烦）。

基础用法

要使用BeautifulSoup库，需要和其他库一样进行导入，但你虽然安装的是beautifulsoup4，但导入的名称并不是beautifulsoup4，而是bs4。用法如下：

from bs4 import BeautifulSoup

soup = BeautifulSoup('<h1>Hello World</h1>', 'lxml')
print(soup.h1.string)

运行之后，输出文本如下：

基础用法

节点选择器

基础的用法很简单，这里不在赘述。从现在开始，我们来详细学习BeautifulSoup库的所有重要知识点，第一个就是节点选择器。

所谓节点选择器，就是直接通过节点的名称选择节点，然后再用string属性就可以得到节点内的文本，这种方式获取最快。

比如，基础用法中，我们使用h1直接获取了h1节点，然后通过h1.string即可得到它的文本。但这种用法有一个明显的缺点，就是层次复杂不适合。

所以，我们在使用节点选择器之前，需要将文档缩小。比如一个文档很多很大，但我们获取的内容只在id为blog的div中，那么我们先获取这个div，再在div内部使用节点选择器就非常合适了。

HTML示例代码：

<!DOCTYPE html>
<html>
<head lang="en">
<meta charset="utf-8">
<title>我是一个测试页面</title>
</head>
<body>
<ul class="ul">
  <li class="li1"><a href="https://liyuanjinglyj.blog.csdn.net/">我的主页</a></li>
  <li class="li2"><a href="https://www.csdn.net/">CSDN首页</a></li>
  <li class="li3"><a href="https://www.csdn.net/nav/python" class="aaa">Python板块</a></li>
</ul>
</body>