Python 爬虫：如何用 BeautifulSoup 爬取网页数据

在网络时代，数据是最宝贵的资源之一。而爬虫技术就是一种获取数据的重要手段。Python 作为一门高效、易学、易用的编程语言，自然成为了爬虫技术的首选语言之一。而 BeautifulSoup 则是 Python 中最常用的爬虫库之一，它能够帮助我们快速、简单地解析 HTML 和 XML 文档，从而提取出我们需要的数据。

本文将介绍如何使用 BeautifulSoup 爬取网页数据，并提供详细的代码和注释，帮助读者快速上手。

安装 BeautifulSoup

在开始之前，我们需要先安装 BeautifulSoup。可以使用 pip 命令进行安装：

pip install beautifulsoup4

爬取网页数据

在本文中，我们将以爬取豆瓣电影 Top250 为例，介绍如何使用 BeautifulSoup 爬取网页数据。

首先，我们需要导入必要的库：

import requests
from bs4 import BeautifulSoup

然后，我们需要获取网页的 HTML 代码。可以使用 requests 库中的 get() 方法来获取网页：

url = 'https://movie.douban.com/top250'
response = requests.get(url)
html = response.text

接下来，我们需要使用 BeautifulSoup 解析 HTML 代码。可以使用 BeautifulSoup 的构造方法来创建一个 BeautifulSoup 对象：

soup = BeautifulSoup(html, 'html.parser')

这里我们使用了 ‘html.parser’ 作为解析器，也可以使用其他解析器，如 lxml、html5lib 等。

现在，我们已经成功地将网页的 HTML 代码解析成了一个 BeautifulSoup 对象。接下来，我们可以使用 BeautifulSoup 对象中的方法来提取我们需要的数据。

提取数据

在豆瓣电影 Top250 页面中，每个电影都包含了电影名称、导演、演员、评分等信息。我们可以使用 BeautifulSoup 提供的 find()、find_all() 等方法来提取这些信息。

首先，我们需要找到包含电影信息的 HTML 元素。可以使用浏览器的开发者工具来查看网页的 HTML 代码，找到对应的元素。在豆瓣电影 Top250 页面中，每个电影都包含在一个 class 为 ‘item’ 的 div 元素中：

<div class="item">
  <div class="pic">
    <em class="">1</em>
    <a href="https://movie.douban.com/subject/1292052/">
      <img src="https://img9.doubanio.com/view/photo/s_ratio_poster/public/p480747492.jpg" class="" />
    </a>
  </div>
  <div class="info">
    <div class="hd">
      <a href="https://movie.douban.com/subject/1292052/" class="">
        <span class="title">肖申克的救赎</span>
        <span class="title">&nbsp;/&nbsp;The Shawshank Redemption</span>
        <span class="other">&nbsp;/&nbsp;月黑高飞(港)  /  刺激1995(台)</span>
      </a>
      <span class="playable">[可播放]</span>
    </div>
    <div class="bd">
      <p class="">
        导演: 弗兰克·德拉邦特 Frank Darabont&nbsp;&nbsp;&nbsp;主演: 蒂姆·罗宾斯 Tim Robbins /...<br />
        1994&nbsp;/&nbsp;美国&nbsp;/&nbsp;犯罪 剧情
      </p>
      <div class="star">
        <span class="rating5-t"></span>
        <span class="rating_num" property="v:average">9.7</span>
        <span property="v:best" content="10.0"></span>
        <span>1057904人评价</span>
      </div>
      <p class="quote">
        <span class="inq">希望让人自由。</span>
      </p>
    </div>
  </div>
</div>

我们可以使用 find_all() 方法来找到所有 class 为 ‘item’ 的 div 元素：

items = soup.find_all('div', class_='item')

这里我们使用了 class_ 参数来指定 class 属性，因为 class 是 Python 中的关键字。

现在，我们已经成功地找到了所有电影的 HTML 元素。接下来，我们可以使用 BeautifulSoup 对象中的方法来提取电影信息。

例如，我们可以使用 find() 方法来找到电影名称所在的 HTML 元素：

title = item.find('span', class_='title').text

这里我们使用了 text 属性来获取 HTML 元素的文本内容。

类似地，我们可以使用其他方法来提取导演、演员、评分等信息。完整的代码如下：

import requests
from bs4 import BeautifulSoup

url = 'https://movie.douban.com/top250'
response = requests.get(url)
html = response.text

soup = BeautifulSoup(html, 'html.parser')
items = soup.find_all('div', class_='item')

for item in items:
    title = item.find('span', class_='title').text
    director = item.find('div', class_='bd').p.text.split()[1]
    actors = item.find('div', class_='bd').p.text.split()[2:]
    rating = item.find('span', class_='rating_num').text
    print('电影名称：', title)
    print('导演：', director)
    print('演员：', ' '.join(actors))
    print('评分：', rating)
    print('------------------------')

总结

本文介绍了如何使用 BeautifulSoup 爬取网页数据，并提供了详细的代码和注释。通过本文的学习，读者可以掌握如何使用 BeautifulSoup 解析 HTML 和 XML 文档，从而提取出需要的数据。同时，读者也可以将本文中的代码应用到其他网页数据的爬取中。

---------------------------END---------------------------

关于Python学习指南

学好 Python 不论是就业还是做副业赚钱都不错，但要学会 Python 还是要有一个学习规划。最后给大家分享一份全套的 Python 学习资料，给那些想学习 Python 的小伙伴们一点帮助！

包括：Python激活码+安装包、Python web开发，Python爬虫，Python数据分析，人工智能、自动化办公等学习教程。带你从零基础系统性的学好Python！

👉Python所有方向的学习路线👈

Python所有方向路线就是把Python常用的技术点做整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照上面的知识点去找对应的学习资源，保证自己学得较为全面。（全套教程文末领取）

👉Python学习视频600合集👈

观看零基础学习视频，看视频学习是最快捷也是最有效果的方式，跟着视频中老师的思路，从基础到深入，还是很容易入门的。

温馨提示：篇幅有限，已打包文件夹，获取方式在：文末

👉Python70个实战练手案例&源码👈

光学理论是没用的，要学会跟着一起敲，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。

👉Python大厂面试资料👈

我们学习Python必然是为了找到高薪的工作，下面这些面试题是来自阿里、腾讯、字节等一线互联网大厂最新的面试资料，并且有阿里大佬给出了权威的解答，刷完这一套面试资料相信大家都能找到满意的工作。

👉Python副业兼职路线&方法👈

学好 Python 不论是就业还是做副业赚钱都不错，但要学会兼职接单还是要有一个学习规划。

👉 这份完整版的Python全套学习资料已经上传，朋友们如果需要可以扫描下方CSDN官方认证二维码免费领取【保证100%免费】

​