从零开始学习 Python 网络爬虫：使用 Beautiful Soup 解析网页

在这篇文章中，我们将介绍如何使用 Python 编写一个简单的网络爬虫，以获取并解析网页内容。我们将使用 Beautiful Soup 库，它是一个非常强大的库，用于解析和操作 HTML 和 XML 文档。让我们开始吧！

一. 安装 Beautiful Soup

首先，您需要安装 Beautiful Soup。在终端或命令提示符中运行以下命令：

pip install beautifulsoup4

此外，我们还需要一个 HTTP 库来发送网络请求。在本教程中，我们将使用 requests 库。如果您尚未安装它，请运行以下命令：

pip install requests

二. 发送 HTTP 请求

现在，我们已经安装了所需的库，让我们开始编写网络爬虫。首先，我们需要发送一个 HTTP 请求以获取网页内容。以下是如何使用 requests 库发送 GET 请求的示例：

import requests

url = 'https://www.example.com'
response = requests.get(url)

print(response.text)

三. 解析 HTML

接下来，我们将使用 Beautiful Soup 解析 HTML。首先，我们需要导入库，然后创建一个 Beautiful Soup 对象。以下是一个示例：

from bs4 import BeautifulSoup

soup = BeautifulSoup(response.text, 'html.parser')

四. 提取信息

现在我们已经创建了一个 Beautiful Soup 对象，我们可以使用它来提取网页中的信息。以下是一些常见的提取方法：

使用标签名称提取元素：

title = soup.title

使用属性提取元素：

div = soup.find('div', {'class': 'example-class'})

提取元素的文本：

text = div.get_text()

提取元素的属性值：

link = soup.find('a')
href = link['href']

五. 示例：爬取文章标题和链接

让我们通过一个实际示例来巩固这些概念。假设我们想要从一个博客网站上获取所有文章的标题和链接。以下是一个简单的网络爬虫示例：

import requests
from bs4 import BeautifulSoup

url = 'https://www.example-blog.com'
response = requests.get(url)
soup = BeautifulSoup(response.text, 'html.parser')

articles = soup.find_all('article')

for article in articles:
    title = article.find('h2').get_text()
    link = article.find('a')['href']
    print(f'{title}: {link}')

这个简单的网络爬虫首先发送一个 GET 请求以获取博客网站的主页内容。然后，我们使用 Beautiful Soup 解析 HTML，并找到所有的 article 标签。对于每个 article 标签，我们提取文章标题（h2 标签）和链接（a 标签）。

这只是一个简单的示例，但实际上，网络爬虫可以变得更加复杂和功能强大。下面我们将介绍如何处理翻页，以便在多个页面上抓取数据。

六. 处理翻页

在大多数情况下，网站的内容分布在多个页面上。为了抓取这些页面上的数据，我们需要处理翻页。让我们通过一个实际示例来了解如何实现这一点。

首先，我们需要找到翻页链接。通常，翻页链接位于页面底部，包含下一页、上一页、页码等信息。以下是如何在 Beautiful Soup 中找到下一页链接的示例：

python Copy code next_page = soup.find(‘a’, {‘class’: ‘next-page’}) next_page_link = next_page[‘href’] 然后，我们可以将此链接与爬虫组合在一起，以便在多个页面上抓取数据。以下是一个示例：

import requests
from bs4 import BeautifulSoup

base_url = 'https://www.example-blog.com'
current_page = ''

while True:
    url = f'{base_url}{current_page}'
    response = requests.get(url)
    soup = BeautifulSoup(response.text, 'html.parser')

    articles = soup.find_all('article')

    for article in articles:
        title = article.find('h2').get_text()
        link = article.find('a')['href']
        print(f'{title}: {link}')

    next_page = soup.find('a', {'class': 'next-page'})
    if not next_page:
        break

    current_page = next_page['href']

这个示例首先获取博客网站的主页内容。然后，我们使用一个 while 循环在所有页面上抓取数据。在每个页面上，我们提取文章标题和链接，并检查是否存在下一页链接。如果存在下一页链接，我们将其设置为 current_page，并继续抓取。如果不存在下一页链接，我们跳出循环。

这就是使用 Python 和 Beautiful Soup 编写网络爬虫的基本方法。当然，根据您的需求和目标网站的结构，您可能需要调整爬虫以适应特定的情况。但是，这些基本概念应为您提供一个良好的起点，以开始编写自己的网络爬虫。祝您编程愉快！

如果你对Python感兴趣，想要学习python，这里给大家分享一份Python全套学习资料，都是我自己学习时整理的，希望可以帮到你，一起加油！

😝有需要的小伙伴，可以点击下方链接免费领取或者V扫描下方二维码免费领取🆓
Python全套学习资料

1️⃣零基础入门

① 学习路线

对于从来没有接触过Python的同学，我们帮你准备了详细的学习成长路线图。可以说是最科学最系统的学习路线，你可以按照上面的知识点去找对应的学习资源，保证自己学得较为全面。

② 路线对应学习视频

还有很多适合0基础入门的学习视频，有了这些视频，轻轻松松上手Python~

③练习题

每节视频课后，都有对应的练习题哦，可以检验学习成果哈哈！

2️⃣国内外Python书籍、文档

① 文档和书籍资料

3️⃣Python工具包+项目源码合集

①Python工具包

学习Python常用的开发软件都在这里了！每个都有详细的安装教程，保证你可以安装成功哦！

②Python实战案例

光学理论是没用的，要学会跟着一起敲代码，动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。100+实战案例源码等你来拿！

③Python小游戏源码

如果觉得上面的实战案例有点枯燥，可以试试自己用Python编写小游戏，让你的学习过程中增添一点趣味！

4️⃣Python面试题

我们学会了Python之后，有了技能就可以出去找工作啦！下面这些面试题是都来自阿里、腾讯、字节等一线互联网大厂，并且有阿里大佬给出了权威的解答，刷完这一套面试资料相信大家都能找到满意的工作。

5️⃣Python兼职渠道

而且学会Python以后，还可以在各大兼职平台接单赚钱，各种兼职渠道+兼职注意事项+如何和客户沟通，我都整理成文档了。

上述所有资料 ⚡️ ，朋友们如果有需要的，可以扫描下方👇👇👇二维码免费领取🆓