数据分析3 -- 从网页中提取数据内容

使用 BeautifulSoup 提取内容

BeautifulSoup 是一个 Python 库，用于分析 HTML。

1. 安装 BeautifulSoup

pip3 install bs4

2. 读取 html 文件到 Python

数据提取的第一步，首先需要将 html 文件加载到 Python 的变量中。

f = open("jiandan.html","r",encoding="utf-8")
# 调用文件对象的 read 函数，该函数将文件的内容读取到 Python 中
# read 函数的返回值就会文件内容，保存在 html_content 中
html_content = f.read()
# 关闭文件对象
f.close()
# 打印 html_content 变量，看内容是否被正确加载
print(html_content)

3. 创建 BeautifulSoup 对象

现在，我们已经将文件的内容读了出来，但是目前还是以一个超大的字符串的形式存储在变量中。想要对其进行有效的分析，第一步我们先要构造一个 BeautifulSoup 的对象。代码如下：

# 从 bs4 模块中导入 BeautifulSoup 类
from bs4 import BeautifulSoup
# 创建一个 BeautifulSoup 的对象，并将刚才我们存储网页内容的变量作为参数
doc = BeautifulSoup(html_content)
# 打印 doc 对象的 title 属性。
print(doc.title)

执行上述代码之后，BeautifulSoup 对象就被创建并存在变量 doc 中，为了测试是否创建成功，我们打印了 doc 对象的 title 属性，输出如下。

<title>
2022年09月21日 - 煎蛋
</title>

4. BeautifulSoup 对象的基本使用

刚刚我们打印了 doc 对象的 title 属性，来测试对象是否创建成功。从打印的内容来看，想必你已经猜到了，doc 对象的 title 属性，就对应了网页的 title 标签。但是刚才我们打印的内容中，title 标签也被打印出来了。

那是否可以只取标签里面的内容呢？

（1）get_text 方法

在 BeautifulSoup 中，我们可以通过标签对象的 get_text 方法来获得标签中的内容。

# 将 title 属性保存在 title_label 的变量中
title_label = doc.title
# 调用 get_text 方法，并把返回值打印出来
print(title_label.get_text())

输出如下：

2022年09月21日 - 煎蛋

可以看到，标签内的文字被成功提取了出来。

（2）find_all 方法

BeautifulSoup 对象另一个常用方法是 find_all， 用来在 html 文档中查到特定标签名以及特定属性值的标签，现在我们来尝试提取 class 等于 logo 的这个 div 标签，代码如下：

# find_all 是 BeautifulSoup 对象的常用方法，用于查找特定的标签
# 接受三个参数，第一个是要查找的标签名，第二个则是要匹配的属性名
# 比如这里，我们查找的是 class=logo 标签，则直接按如下写法即可。
# 因为 class 是 Python 的关键字，所以这里需要使用 class_ 以示区分
# 最终，find_all 函数返回所有满足条件的标签列表
logo_label = doc.find_all("div", class_="logo")
print(logo_label)

输出结果为：

[<div class="logo">
<h1><a href="/" onclick="ga('send', 'pageview','/header/logo');">煎蛋</a></h1>
</div>]

（3）获取标签对象的属性

通过标签对象的 attrs 属性，我们可以获取标签对象的属性的值，attrs 是一个字典，获取属性的值的方法如下：

# 取 logo_label 列表的第一个标签对象
label = logo_label[0]
# 打印这个对象的 class 属性
print(label.attrs["class"])

输出：

['logo']

5. 过滤出煎蛋的新闻列表

现在，我们来使用之前的 doc 对象来过滤出新闻的标题列表。

（1）观察 html，提取初步的新闻标签列表

在使用 BeautifulSoup 进行内容过滤的第一步，首先要查看我们想要的内容所在的标签。我们在 Pycharm 中打开 jiandan.html，搜索“我怀孕已经9个月了”到达新闻标题内容区域，如下图所示。

 通过观察截图中的标签内容，很容易发现似乎每个新闻标题，都有一个对应的 div 标签，并且它的 class 是 indexs。沿着这个思路，我们可以先考虑使用 find_all 将其过滤出来。通过如下代码。

# 查找 class 为 indexs 的所有 div 标签，存储在 index_labels 中
index_labels = doc.find_all("div", class_="indexs")
# 打印符合条件的 div 标签的数量
print(len(index_labels))

输出：

4

说明找到了 4 个符合条件的 div 标签。

（2）提取单个标签的新闻标题

因为 index_labels 是一个标签对象的列表，距离我们要过滤的新闻标题还有距离。下一步，我们就来分析如何从这些标签对象中抽取新闻标题。

首先，我们先取第一个来看一下。

first_object = index_labels[0]
print(first_object)

输出：

<div class="indexs">
<h2><a href="http://jandan.net/p/111376" target="_blank">发霉啦：今天，我怀孕已经9个月了</a></h2>
<div class="time_s"><a href="http://jandan.net/p/author/Diehard">Diehard</a> · <strong><a href="http://jandan.net/p/tag/%e5%8f%91%e9%9c%89%e5%95%a6" rel="tag">发霉啦</a></strong></div>
赚点手机壳钱 </div>

现在我们的问题就转化为，如何从上述 html 中抽取出新闻的标题。

通过查看上述内容可以发现，我们的标题在第二行，在一个 a 标签内部。那是不是我们只需要过滤出这个 a 标签，再使用 get_text 拿到里面的内容就好了？

你猜得没错。那要怎么过滤出第二行的 a 标签呢？可以看到这个 a 标签里有 target="_blank" 这样一个属性，我们就可以使用 find_all 将其过滤出来了。

# 从刚才的 first_object 标签对象中过滤出所有 target=_blank 的 a 标签
a_labels = first_object.find_all("a",target="_blank")
# 取第一个标签对象
my_label = a_labels[0]
# 打印该标签对象内的文字内容
print(my_label.get_text())

输出：

发霉啦：今天，我怀孕已经9个月了

（3）提取新闻标题的列表

目前，我们已经实现了从第一个标签对象中提取新闻标题，但我们的列表中有 4 个标签对象。要怎么做呢？聪明的你应该想到了，我们只需要把“从标签对象抽取标题”这段逻辑写成一个函数，然后通过一个循环对列表的每个标签对象都调用这个函数即可。

# 从第一次 find_all 获取的标签对象中抽取标题
def get_title(label_object):
    # 从刚才的参数传入的标签对象中过滤出所有 target=_blank 的 a 标签
    a_labels = label_object.find_all("a",target="_blank")
    # 取第一个标签对象
    my_label = a_labels[0]
    # 将标签的文字内容作为返回值返回
    return my_label.get_text()
# 用循环针对每个 index_labels 列表中的标签对象
# 都将其作为参数传入 get_title 函数
# 并打印返回值
for i in range(0,len(index_labels)):
    title = get_title(index_labels[i])
    print(title)

执行后输出：

发霉啦：今天，我怀孕已经9个月了
在网络游戏里与他人协作，可让大脑产生面对面社交活动时的同步效果
发现了史莱姆？在加勒比海海底发现了未知的粘液状蓝色生物
今日带货：泡菜王水饺

可以看到，jiandan.html 中的所有新闻标题被成功过滤了出来。

至此，我们就完成了使用 BeautifulSoup 对网页进行内容的提取。