Beautiful Soup的使用

最新推荐文章于 2023-06-26 13:26:39 发布

HG。

最新推荐文章于 2023-06-26 13:26:39 发布

阅读量658

点赞数 1

分类专栏：模块爬虫笔记

本文链接：https://blog.csdn.net/huangqingmeng/article/details/115448947

版权

笔记同时被 3 个专栏收录

38 篇文章 0 订阅

订阅专栏

爬虫

18 篇文章 0 订阅

订阅专栏

模块

11 篇文章 0 订阅

订阅专栏

使用Beautiful Soup

对于一个网页来说，都有一定的特殊结构和层次关系，而且很多节点都有id或class属性来做区分，所以我们也可以借助它们的结构和属性来进行数据提取。

简介

简单来说，Beautiful Soup就是Python的一个HTML 或 XML的解析库，可以用它来方便的从网页中来提取数据。利用它可以省去很多繁琐的提取工作，提高了工作效率。

解析器

Beautiful Soup 在解析时实际上依赖于解析器，它除了支持Python标准库中的HTML解析器外，还支持一些第三方解析器（比如lxml）。Beautiful Soup官方推荐使用lxml作为解析器，据说因为lxml解析器的效率更高，在此接受官方意见。且lxml解析器有解析html和xml的功能。

#  如果使用lxml，那么在初始化Beautiful Soup时，可以把第二个参数改为lxml

from bs4 import BeautifulSoup
soup = BeautifulSoup('<p>Hello</p>', 'lxml')
print(soup.string)

>>> Hello

在后面，Beautiful Soup的用法实例也统一用这个解析器来实现。

基本用法

下面首先用实例来看看Beautiful Soup 的基本用法：

html_doc = """
<html><head><title>The Dormouse's story</title></head>
<body>
<p class="title"><b>The Dormouse's story</b></p>

<p class="story">Once upon a time there were three little sisters; and their names were
<a href="http://example.com/elsie" class="sister" id="link1">Elsie</a>,
<a href="http://example.com/lacie" class="sister" id="link2">Lacie</a> and
<a href="http://example.com/tillie" class="sister" id="link3">Tillie</a>;
and they lived at the bottom of a well.</p>

<p class="story">...</p>
"""

soup = BeautifulSoup(html_doc, 'lxml')
print(soup.prettify())
print(soup.title.string)

这里首先声明一个变量html_doc，它是一个html字符串，但并不是一个完整的字符串，因为body和html标签都没有闭合。接着，我们将其作为参数传给BeautifulSoup对象，该对象的第二个参数为解析器的类型（这里使用lxml），此时就完成了BeautifulSoup对象的初始化。

首先调用prettify()方法。这个方法可以把要解析的字符串以标准的缩进格式输出。这里需要注意的是，输出结果自动补全了缺失的结束标签，但这一步不是由该方法实现的，而是在初始化BeautifulSoup时就完成的。

最后调用soup.title.string，这实际上是输出HTML中的title节点的文本内容。所以我们可以通过简单调用几个属性就可以得到里面的文本了，这是不是非常简单？

节点选择器

直接调用节点的名称就可以选择节点元素，再调用string属性就可以得到节点内的文本了，如果单个节点结构层次非常清晰，可以选择这种方法来解析。

选择元素

下面再用一个例子详细说明选择元素的方法：

html = """
<html><head><title>The Dormouse's story</title></head>
<body>
<p class="title" name="dromouse"><b>The Dormouse's story</b></p>

<p class="story">Once upon a time there were three little sisters; and their names were
<a href="http://example.com/elsie" class="sister" id="link1">Elsie</a>,
<a href="http://example.com/lacie" class="sister" id="link2">Lacie</a> and
<a href="http://example.com/tillie" class="sister" id="link3">Tillie</a>;
and they lived at the bottom of a well.</p>

<p class="story">...</p>
"""
from bs4 import BeautifulSoup
soup = BeautifulSoup(html, 'lxml')
print(type(soup))
print(soup.title)
print(type(soup.title))
print(soup.title.string)
print(soup.head)
print(soup.p)

运行结果如下：

<class 'bs4.BeautifulSoup'>
<title>The Dormouse's story</title>
<class 'bs4.element.Tag'>
The Dormouse's story
<head><title>The Dormouse's story</title></head>
<p class="title"><b>The Dormouse's story</b></p>

这里依然选用刚才的HTML代码，首先打印输出soup的类型，是bs4.BeautifulSoup类型，这是Beautiful Soup中一个重要的数据结构，接下来输出title节点的选择结果，输出结果就是title节点加里面的文字内容，接下来输出它的类型，是bs4.element.Tag类型，这也是一个重要的数据结构，经过选择器选择后的结果都是这种Tag类型。 Tag具有一些属性，比如string属性，通过该属性可以获取节点的文本内容。

但使用这种方法时，只能获取到第一个匹配到的节点，其它的后面的节点都会忽略。

提取信息

上面演示了调用string属性来获取文本的值，那么如何获取节点属性的值呢？如何获取节点名呢？下面让我们来梳理一下信息的提取方式。
(1)获取名称
可以利用name属性获取节点的名称，选取title节点，然后调用name属性就可以得到节点的名称。

print(soup.title.name)
>>> title

(2)获取属性
每个节点可能有多个属性，比如id和class等，选择这个节点元素后，可以调用attrs获取所有属性：

print(soup.p.attrs)
print(soup.p.attrs['name'])
>>> {'class': ['title'], 'name': 'dromouse'}
>>> dromouse

这里需要注意的是，有的返回结果是字符串，有的返回结果是字符串组成的列表。比如，name属性的值是唯一的，返回的结果就是单个字符串。而对于class，一个节点元素可能有多个class，所以返回的是列表。在实际操作过程中，我们要注意判断类型。
(3)获取内容
通过string属性获取节点元素包含的文本内容，比如要获取第一个p节点的文本：

print(soup.p.string)
>>> The Dormouse's story

再次注意一下，这里选择的p节点是第一个p节点，获取到的文本也是第一个p节点里面的文本。

嵌套选择

在上面的例子中，我们知道每一个返回结果都是bs4.element.Tag类型，它同样可以继续调用节点进行下一步的操作。比如，我们获取了head节点元素，我们可以继续调用head来选取其内部的title节点元素：

html = '''
<html><head><title>The Dormouse's story</title></head>
'''

from bs4 import BeautifulSoup
soup = BeautifulSoup(html,'lxml')
print(soup.head.title)
print(type(soup.head.title))
print(soup.head.title.string)

运行结果如下：

<title>The Dormouse's story</title>
<class 'bs4.element.Tag'>
The Dormouse's story

第一行结果是调用head之后再次调用title而选择的title节点元素。然后打印出它的类型，依然还是bs4.element.Tag类型。最后，输出它的string属性，也就是节点里的文本内容。

关联选择

在做选择的时候，有时候不能做到一步就选到想要的节点元素，需要先选择某一个节点元素，然后以它为基准再选择它的子节点、父节点、兄弟节点等，这里就来介绍如何选择这些节点元素。
(1)子节点和子孙节点
选取节点元素后，如果想要获取它的直接子节点，可以调用contents属性，示例如下：

html = """
<html><head><title>The Dormouse's story</title></head>
<body>
<p class="story">Once upon a time there were three little sisters; and their names were
<a href="http://example.com/elsie" class="sister" id="link1">Elsie</a>,
<a href="http://example.com/lacie" class="sister" id="link2">Lacie</a> and
<a href="http://example.com/tillie" class="sister" id="link3">Tillie</a>;
and they lived at the bottom of a well.</p>

<p class="story">...</p>
"""

from bs4 import BeautifulSoup
soup = BeautifulSoup(html,'lxml')
print(soup.p.contents)

运行结果如下：

['Once upon a time there were three little sisters; and their names were\n', <a class="sister" href="http://example.com/elsie" id="link1">Elsie</a>, ',\n', <a class="sister" href="http://example.com/lacie" 
id="link2">Lacie</a>, ' and\n', <a class="sister" href="http://example.com/tillie" id="link3">Tillie</a>, ';\nand they lived at the bottom of a well.']

可以看到，返回的结果是列表形式。p节点既包含文本，又包含节点，最后将它们以列表形式统一返回。

需要注意的是，这里的每个元素都是直接子节点，而并没有将子孙节点单独选出来。所以说，contents得到的结果是直接子节点的列表。

同样，我们可以调用children属性得到相应的结果：

from bs4 import BeautifulSoup
soup = BeautifulSoup(html,'lxml')
print(soup.p.children)
for i,child in enumerate(soup.p.children):
    print(i,child)

运行结果如下：

<list_iterator object at 0x0000025DFFFA1668>
0 Once upon a time there were three little sisters; and their names were

1 <a class="sister" href="http://example.com/elsie" id="link1">Elsie</a>
2 ,

3 <a class="sister" href="http://example.com/lacie" id="link2">Lacie</a>
4  and

5 <a class="sister" href="http://example.com/tillie" id="link3">Tillie</a>
6 ;
and they lived at the bottom of a well.

还是同样的HTML文本，这里通过children属性来选择，返回的结果是迭代器类型。我们可以使用for循环输出相应的内容。

如果要得到所有的子孙节点的话，可以调用descendants属性：

from bs4 import BeautifulSoup
soup = BeautifulSoup(html,'lxml')
print(soup.p.descendants)
for i,child in enumerate(soup.p.descendants):
    print(i,child)

运行结果如下：

<generator object descendants at 0x0000022F15D4FD00>
0 Once upon a time there were three little sisters; and their names were

1 <a class="sister" href="http://example.com/elsie" id="link1">Elsie</a>
2 Elsie
3 ,

4 <a class="sister" href="http://example.com/lacie" id="link2">Lacie</a>
5 Lacie
6  and

7 <a class="sister" href="http://example.com/tillie" id="link3">Tillie</a>
8 Tillie
9 ;
and they lived at the bottom of a well.

此时返回的结果是生成器，descendants会递归查询所有子节点，得到所有的子孙节点。
(2)父节点和祖先节点
如果要获取某个节点元素的父节点，可以调用parent属性：

html = """
<html><head><title>The Dormouse's story</title></head>
<body>
<p class="story">Once upon a time there were three little sisters; and their names were
<a href="http://example.com/elsie" class="sister" id="link1">Elsie</a>,
<a href="http://example.com/lacie" class="sister" id="link2">Lacie</a> and
<a href="http://example.com/tillie" class="sister" id="link3">Tillie</a>;
and they lived at the bottom of a well.</p>

<p class="story">...</p>
"""

from bs4 import BeautifulSoup
soup = BeautifulSoup(html,'lxml')
print(soup.a.parent)

运行结果如下：

<p class="story">Once upon a time there were three little sisters; and their names were
<a class="sister" href="http://example.com/elsie" id="link1">Elsie</a>,
<a class="sister" href="http://example.com/lacie" id="link2">Lacie</a> and
<a class="sister" href="http://example.com/tillie" id="link3">Tillie</a>;
and they lived at the bottom of a well.</p>

这里我们选择的是第一个a节点的父节点元素。很明显，它的父节点是p节点，输出结果便是节点及其内部的内容。

需要注意的是，这里输出的仅仅是a节点的直接父节点，而没有再向外寻找父节点的父节点。如果想获取所有的祖先节点，可以调用parents属性：

html = '''
<html>
<body>
<p class="story">
<a href="http://example.com/elsie" class="sister" id="link1">
<span>Elsie</span>
</a>
</p>
'''

from bs4 import BeautifulSoup
soup = BeautifulSoup(html,'lxml')
print(type(soup.a.parents))
print(list(soup.a.parents))

其返回的结果是生成器类型，其中的元素就是节点的祖先节点。
(3)兄弟节点
上面说明了子节点和父节点的获取方式，如果要获取同级的节点（也就是兄弟节点），应该怎么办呢？

我们可以通过next_sibling 和previous_sibling分别获取节点的下一个和上一个节点，next_siblings 和previous_siblings则返回所有前面和后面的兄弟节点的生成器对象。
(4)提取信息
前面讲解了关联元素节点的选择方法，如果想要获取它们的一些信息，比如文本、属性等，也可用同样的方法，示例如下：

html = '''
<html>
<body>
<p class="story">
Once upon a time there were three little sisters; and their names were
<a href="http://example.com/elsie" class="sister" id="link1">Bob</a><a href="http://example.com/lacie"
class="sister" id="link2">Lacie</a>
</p>
'''


from bs4 import BeautifulSoup
soup = BeautifulSoup(html,'lxml')
print('Next Sibling:')
print(type(soup.a.next_sibling))
print(soup.a.next_sibling)
print(soup.a.next_sibling.string)
print('Parent:')
print(type(soup.a.parents))
print(list(soup.a.parents)[0])
print(list(soup.a.parents)[0].attrs)

运行结果如下：

Next Sibling:
<class 'bs4.element.Tag'>
<a class="sister" href="http://example.com/lacie" id="link2">Lacie</a>
Lacie
Parent:
<class 'generator'>
<p class="story">
Once upon a time there were three little sisters; and their names were
<a class="sister" href="http://example.com/elsie" id="link1">Bob</a><a class="sister" href="http://example.com/lacie" id="link2">Lacie</a>
</p>
{'class': ['story']}

如果返回的结果是单个节点，那么可以直接调用string、attrs等属性获得其文本和属性；如果返回的结果是多个节点的生成器，则可以转为列表后取出某个元素，再调用属性获取相应的文本和属性。

方法选择器

前面所讲的选择方法都是通过节点来选择的，但是如果进行较为复杂的选择，就不够灵活了。幸好，Beautiful Soup还提供了一些查询方法，比如find_all()和find()等，调用它们，然后传入相应的参数，就可以灵活查询了。

find_all()

顾名思义，就是查询所有的符合条件的元素。给它传入一些属性和文本，就可以得到符合条件的元素，它的功能十分强大。

它的API如下：
find_all(name,attrs,recursive,text,*kwargs)

我们可以通过节点名来查询元素，也可以传入一些属性来查询，示例如下：

html = '''
<div class="panel">
<div class="panel-heading">
<h4>Hello</h4>
</div>
<div class="panel-body">
<ul class="list" id="list-1">
<li class="element">Foo</li>
<li class="element">Bar</li>
<li class="element">Jay</li>
</ul>
<ul class="list list-small" id="list2">
<li class="element">Foo</li>
<li class="element">Bar</li>
</ul>
</div>
</div>
'''
from bs4 import BeautifulSoup
soup = BeautifulSoup(html,'lxml')
print(soup.find_all(name='ul'))
print(soup.find_all(id="list-1"))

运行结果如下：

[<ul class="list" id="list-1">
<li class="element">Foo</li>
<li class="element">Bar</li>
<li class="element">Jay</li>
</ul>, <ul class="list list-small" id="list2">
<li class="element">Foo</li>
<li class="element">Bar</li>
</ul>]
[<ul class="list" id="list-1">
<li class="element">Foo</li>
<li class="element">Bar</li>
<li class="element">Jay</li>
</ul>]

这里我们调用了find_all()方法，传入name参数，其参数值为ul。也就是说，我们想要查询所有ul节点，返回的是列表类型。

第二个则传入id属性值，参数的类型可以是字典类型，也可以是键值的形式，查询出所有id值为list-1的节点，返回的同样是列表类型。对于class来说，由于class在Python里是一个关键字，所以后面需要加一个下划线。

对返回结果可以进一步进行查询，获得其内部的数据。

也可以通过text参数来匹配节点的文本，传入的形式可以是字符串，也可以是正则表达式对象，示例如下：

html = '''
<div class="panel">
<div class="panel-body">
<a>Hello, this is a link</a>
<a>Hello, this is a link,too</a>
</div>
</div>
'''
import re
from bs4 import BeautifulSoup
soup = BeautifulSoup(html,'lxml')
print(soup.find_all(text=re.compile('link')))

运行结果如下：

['Hello, this is a link', 'Hello, this is a link,too']

这里有两个a节点，其内部包含文本信息。这里在find_all()方法中传入text参数，该参数为正则表达式对象，结果返回所有匹配正则表达式的节点文本组成的列表。

find()

除了find_all()方法，还有find()方法，只不过后者返回的是单个元素，也就是第一个匹配的元素，而前者返回的是所有匹配的元素组成的列表。

另外，还有很多查询方法，其用法与前面介绍的find_all()、find()方法相同，只不过查询范围不同，这里简单说明一下。

find_parents()和find_parent()：前者返回所有祖先节点，后者返回直接父节点
find_next_siblings()和find_next_sibling()：前者返回后面所有的兄弟节点，后者返回后面第一个兄弟节点
find_previous_siblings()和find_previous_sibling()：前者返回前面所有的兄弟节点，后者返回前面第一个兄弟节点
find_all_next()和find_next()：前者返回节点后所有符合条件的节点，后者返回节点后第一个符合条件的节点
find_all_previous()和find_previous()：前者返回节点前所有符合条件的节点，后者返回节点前第一个符合条件的节点

CSS选择器

Beautiful Soup还提供了另外一种选择器，就是CSS选择器。

使用css选择器时，只需要调用select()方法，传入相应的css选择器即可，示例如下：

html = '''
<div class="panel">
<div class="panel-heading">
<h4>Hello</h4>
</div>
<div class="panel-body">
<ul class="list" id="list-1">
<li class="element">Foo</li>
<li class="element">Bar</li>
<li class="element">Jay</li>
</ul>
<ul class="list list-small" id="list2">
<li class="element">Foo</li>
<li class="element">Bar</li>
</ul>
</div>
</div>
'''

from bs4 import BeautifulSoup
soup = BeautifulSoup(html,'lxml')
print(soup.select('ul li'))
print(soup.select('.list .element'))
print(soup.select('#list2 .element'))

运行结果如下：

[<li class="element">Foo</li>, <li class="element">Bar</li>, <li class="element">Jay</li>, <li class="element">Foo</li>, <li class="element">Bar</li>]
[<li class="element">Foo</li>, <li class="element">Bar</li>, <li class="element">Jay</li>, <li class="element">Foo</li>, <li class="element">Bar</li>]
[<li class="element">Foo</li>, <li class="element">Bar</li>]

这里我们用了三次CSS选择器，返回的结果就是符合CSS选择器的节点组成的列表。

嵌套选择

select()方法同样支持嵌套选择。例如，先选择所有的ul节点，再遍历每个ul节点，选择其li节点，示例如下：

for ul in soup.select('ul'):
    print(ul.select('li'))

运行结果如下：

[<li class="element">Foo</li>, <li class="element">Bar</li>, <li class="element">Jay</li>]
[<li class="element">Foo</li>, <li class="element">Bar</li>]

获取属性

我们知道节点类型是Tag类型，所以获取属性还可以用原来的方法。

获取文本

要获取文本，当然也可以用前面的string属性。此外，还有一个方法，那就是get_text(),示例如下：

from bs4 import BeautifulSoup
soup = BeautifulSoup(html,'lxml')
for li in soup.select('li'):
    print('Get Text:',li.get_text())
    print('String:',li.string)

运行结果如下：

Get Text: Foo
String: Foo
Get Text: Bar
String: Bar
Get Text: Jay
String: Jay
Get Text: Foo
String: Foo
Get Text: Bar
String: Bar

可以看到，二者的效果完全一致。
到此，Beautiful Soup的用法基本上就介绍完了，最后做一下简单的总结。

节点选择筛选功能弱但是速度快
建议使用方法选择器find()或者find_all()查询匹配单个结果或者多个结果
如果对CSS选择器熟悉的话，可以使用select()方法选择

使用案例

目的：爬取起点小说主页第一页小说名字和链接并选取任意一本小说抓取具体章节信息
具体流程：网页分析>>>数据爬取>>>数据解析>>>数据存储

网页分析

首先，我们可以在页面源代码中找到我们想要的信息，其次观察页面结构，可以看到所有图书信息均在ul 标签内的li标签中的h4标签当中。
在这里插入图片描述

数据爬取

经过之前的页面分析，我们可向页面url发起请求，获取原始数据。具体代码如下：

import requests
from bs4 import BeautifulSoup

url = 'https://www.qidian.com/all'
res = requests.get(url)
res.encoding = 'utf-8'
print(res.text)

数据解析

获取到原始数据后，我们就可以使用Beautiful Soup来进行数据解析：

import requests
from bs4 import BeautifulSoup

url = 'https://www.qidian.com/all'
res = requests.get(url)
soup = BeautifulSoup(res.text,'lxml')
ul = soup.find('ul','all-img-list cf')
lis = ul.find_all('li')
for li in lis:
    h4 = li.find('h4')
    print(h4.get_text())
    print('https:' + h4.a.get('href'))

运行结果如下：

大奉打更人
https://book.qidian.com/info/1019664125
这个人仙太过正经
https://book.qidian.com/info/1021635590
从红月开始
https://book.qidian.com/info/1024868626
稳住别浪
https://book.qidian.com/info/1025325411
全职艺术家
https://book.qidian.com/info/1022282526
我的治愈系游戏
https://book.qidian.com/info/1025901449
十方武圣
https://book.qidian.com/info/1024088056
我加载了恋爱游戏
https://book.qidian.com/info/1021671831
长夜余火
https://book.qidian.com/info/1023422452
亏成首富从游戏开始
https://book.qidian.com/info/1016150754
万族之劫
https://book.qidian.com/info/1018027842
沧元图
https://book.qidian.com/info/1015499829
圣墟
https://book.qidian.com/info/1004608738
没钱上大学的我只能去屠龙了
https://book.qidian.com/info/1021624434
这个诅咒太棒了
https://book.qidian.com/info/1024722226
诡秘之主
https://book.qidian.com/info/1010868264
开局签到荒古圣体
https://book.qidian.com/info/1021378513
赘婿
https://book.qidian.com/info/1979049
我在斩妖司除魔三十年
https://book.qidian.com/info/1025377681
轮回乐园
https://book.qidian.com/info/1009817672

接下来选取一本具体的小说，进行章节信息的爬取，具体方法与上面类似，代码如下：

res1 = requests.get(dct['从红月开始'] + 'Catalog')
soup = BeautifulSoup(res1.text,'lxml')
divs = soup.find('div','volume')
for div in divs:
    lis = div.find_all('li')
    for li in lis:
        title = li.get_text()
        link = li.find('a').get('href')
        print(title,link)

结果如下：

在这里插入图片描述

数据存储

这里我们可以将其存储为文本格式或csv格式或json格式。

# csv格式保存
import csv
with open('起点小说.csv','a',encoding='utf-8',newline='')as f_obj:
    writer = csv.writer(f_obj)
    writer.writerow(['章节名','链接'])
    writer.writerows(lst)

到此，我们就完成了一个简单的案例。关于BS的强大之处，远不止于此，希望大家好好利用，在爬虫路上可以事倍功半！