爬虫数据提取 - Beautiful Soup4

介绍

Beautiful Soup是一个可以从HTML或XML文件中提取数据的Python库，它能够实现对文档的导航、查找、修改，通过解析文档帮助我们提取所需的数据。

1、环境搭建

1.1、安装bs4库

Beautiful Soup 3 已经停止开发，现在基本都使用的Beautiful Soup 4版本，执行命令pip3 install bs4即可

D:\3.dev\pyworkspace\scraw\test01>pip3 install bs4
Looking in indexes: https://pypi.tuna.tsinghua.edu.cn/simple
Collecting bs4
...

1.2、安装lxml解析器

lxml解析器速度快且文档容错能力强，执行命令pip3 install lxml即可

D:\3.dev\pyworkspace\scraw\test01>pip3 install lxml
Looking in indexes: https://pypi.tuna.tsinghua.edu.cn/simple
...

2、bs4使用

使用bs4时，需要先创建BeautifulSoup对象，并指定解析器

2.1、通过标签提取

from bs4 import BeautifulSoup

html = '''
<title id='title'>百度</title>
<div class='info' float='left'>百度一下，你就知道</div>
<div class='info' float='right'>
    <span>百度搜索引擎</span>
    <a href='https://www.baidu.com/'></a>
    <strong><!--这是一个注释--></strong>
</div>
'''
# 创建一个BS4的对象
bs = BeautifulSoup(html, 'lxml')
print(bs.title)
print(bs.div)  # 获取第一个div
print(bs.span)  # 获取第一个span

执行结果

<title id="title">百度</title>
<div class="info" float="left">百度一下，你就知道</div>
<span>百度搜索引擎</span>

2.2、通过属性提取

print(bs.div.attrs)  # 获取第一个div中所有的属性值
print(bs.div.get('class'))  # 获取第一个div中class的属性值，因为可以有多个，所以返回数组
print(bs.div['float'])  #
print(bs.a['href'])  # 获取a标签中的url

执行结果

{'class': ['info'], 'float': 'left'}
['info']
left
https://www.baidu.com/

2.3、获取内容

可以通过text和string提取标签中的内容，但是string会提取注释中的内容，而text则不会

2.3.1、string方式

print(bs.title.string)
print(bs.strong.string)

执行结果包含注释

百度
这是一个注释

2.3.2、text方式

print(bs.title.text)
print(bs.strong.text)

执行结果不包含注释

百度

2.4、find all使用

2.4.1、提取指定标签匹配到的所有内容

print(bs.find_all('div'))

执行结果，匹配到两段div标签中的内容

[<div class="info" float="left">百度一下，你就知道</div>, <div class="info" float="right">
<span>百度搜索引擎</span>
<a href="https://www.baidu.com/"></a>
<strong><!--这是一个注释--></strong>
</div>]

2.4.2、根据id提取

print(bs.find_all(id='title'))

执行结果

[<title id="title">百度</title>]

2.4.3、根据class提取

print(bs.find_all(class_='info'))

执行结果

[<div class="info" float="left">百度一下，你就知道</div>, <div class="info" float="right">
<span>百度搜索引擎</span>
<a href="https://www.baidu.com/"></a>
<strong><!--这是一个注释--></strong>
</div>]

2.4.4、根据指定属性提取

print(bs.find_all('div', attrs={'float': 'right'}))

执行结果

[<div class="info" float="right">
<span>百度搜索引擎</span>
<a href="https://www.baidu.com/"></a>
<strong><!--这是一个注释--></strong>
</div>]

2.5、css选择器使用

选择器需要通过select()函数进行提取

2.5.1、标签选择器

print(bs.select('div'))

执行结果

[<div class="info" float="left">百度一下，你就知道</div>, <div class="info" float="right">
<span>百度搜索引擎</span>
<a href="https://www.baidu.com/"></a>
<strong><!--这是一个注释--></strong>
</div>]

2.5.2、id选择器

print(bs.select('#title'))

执行结果

[<title id="title">百度</title>]

2.5.3、class选择器

print(bs.select('.info'))

执行结果

[<div class="info" float="left">百度一下，你就知道</div>, <div class="info" float="right">
<span>百度搜索引擎</span>
<a href="https://www.baidu.com/"></a>
<strong><!--这是一个注释--></strong>
</div>]

2.5.4、父子选择器

print(bs.select('div > span'))

执行结果

[<span>百度搜索引擎</span>]