046-Python 爬虫 - BeautifulSoup

原创 于 2025-02-02 00:00:00 发布 · 2.6k 阅读 · 36 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#python #爬虫 #beautifulsoup

BeautifulSoup 是一个功能强大的 Python 库，用于从 HTML 和 XML 文件中提取数据。它提供了简单易用的 API，可以快速解析网页内容并提取所需的数据。BeautifulSoup 通常用于静态网页的爬取，与 requests 或其他 HTTP 库结合使用，完成数据抓取。

1. 安装 BeautifulSoup

在开始使用 BeautifulSoup 之前，需要安装以下两个库：

  1. BeautifulSoup4：用于解析 HTML。
  2. lxml 或 html.parser：解析器，推荐使用 lxml。

pip install beautifulsoup4
pip install lxml

2. 快速入门

以下是使用 BeautifulSoup 提取网页内容的基本流程：

  1. 使用 HTTP 库（如 requests）获取网页 HTML。
  2. 使用 BeautifulSoup 解析 HTML。
  3. 使用 BeautifulSoup 提供的方法查找和提取内容。

示例：提取网页标题

import requests
from bs4 import BeautifulSoup

# 获取网页内容
url = "https://www.python.org"
response = requests.get(url)

# 解析 HTML
soup = BeautifulSoup(response.text, "lxml")

# 提取标题
title = soup.title.string
print("网页标题:", title)

3. BeautifulSoup 的基础功能

BeautifulSoup 提供了丰富的 API，用于操作 HTML 文档。

3.1 创建 BeautifulSoup 对象

BeautifulSoup 支持多种解析器：

  • html.parser：Python 内置，速度较慢，兼容性好。
  • lxml：推荐，速度快，需要安装。
  • html5lib：速度慢，但最为宽容，能处理不规范的 HTML。
示例：解析 HTML

from bs4 import BeautifulSoup

html = "<html><head><title>Python 爬虫</title></head><body><h1>Hello, World!</h1></body></html>"
soup = BeautifulSoup(html, "lxml")

print(soup.prettify())  # 格式化输出 HTML

3.2 常见的查找方法

BeautifulSoup 提供了多种方法查找 HTML 元素。

方法描述
soup.tag_name获取第一个匹配的标签，如 soup.title 获取 <title> 标签。
soup.find(name, attrs)查找第一个匹配的元素。
soup.find_all(name, attrs)查找所有匹配的元素，返回列表。
soup.select(css_selector)使用 CSS 选择器查找元素，返回列表。
示例：查找 HTML 元素

html = """
<html>
    <head><title>Python 爬虫</title></head>
    <body>
        <h1>标题</h1>
        <p class="content">段落 1</p>
        <p class="content">段落 2</p>
        <a href="https://www.python.org" id="link">Python 官网</a>
    </body>
</html>
"""
soup = BeautifulSoup(html, "lxml")

# 获取标题
print(soup.title.string)  # 输出: Python 爬虫

# 查找第一个段落
print(soup.find("p").string)  # 输出: 段落 1

# 查找所有段落
paragraphs = soup.find_all("p")
for p in paragraphs:
    print(p.string)  # 输出: 段落 1, 段落 2

# 使用 CSS 选择器查找链接
link = soup.select_one("#link")
print(link["href"])  # 输出: https://www.python.org

3.3 提取属性和文本

  • tag.string：获取标签的文本内容。
  • tag.attrs：获取标签的属性字典。
  • tag['attr_name']：获取指定属性。
示例：提取属性和文本

# 提取文本内容
print(soup.h1.string)  # 输出: 标题

# 提取属性
link = soup.find("a")
print(link["href"])  # 输出: https://www.python.org

# 获取所有属性
print(link.attrs)  # 输出: {'href': 'https://www.python.org', 'id': 'link'}

3.4 遍历 HTML 节点

BeautifulSoup 提供了多种方式遍历 HTML 节点。

属性描述
.contents子节点列表。
.children子节点的迭代器。
.parent父节点。
.find_next_sibling下一个兄弟节点。
.find_previous_sibling上一个兄弟节点。
示例：遍历 HTML 节点

# 遍历子节点
body = soup.body
for child in body.children:
    print(child)

# 获取父节点
print(soup.h1.parent.name)  # 输出: body

# 获取兄弟节点
print(soup.p.find_next_sibling("p").string)  # 输出: 段落 2

4. 实战：爬取网页数据

以下是一些常见的爬取任务和实现方式。

4.1 爬取新闻标题和链接

示例：爬取 CSDN 首页的文章标题和链接

import requests
from bs4 import BeautifulSoup

url = "https://www.csdn.net/"
response = requests.get(url)
soup = BeautifulSoup(response.text, "lxml")

# 查找文章标题和链接
articles = soup.find_all("a", class_="title")
for article in articles:
    title = article.string.strip()
    link = article["href"]
    print(f"标题: {title}, 链接: {link}")

4.2 爬取表格数据

示例：爬取 HTML 表格内容

html = """
<table>
    <tr><th>姓名</th><th>年龄</th></tr>
    <tr><td>张三</td><td>25</td></tr>
    <tr><td>李四</td><td>30</td></tr>
</table>
"""
soup = BeautifulSoup(html, "lxml")

# 提取表格数据
rows = soup.find_all("tr")
for row in rows:
    cells = row.find_all(["th", "td"])
    print([cell.string for cell in cells])

4.3 处理分页

一些网站的数据分布在多个页面上，可以通过循环抓取所有分页内容。

示例：爬取分页数据

import requests
from bs4 import BeautifulSoup

base_url = "https://example.com/page="
for page in range(1, 6):  # 假设有 5 页
    url = f"{base_url}{page}"
    response = requests.get(url)
    soup = BeautifulSoup(response.text, "lxml")

    # 抓取当前页面的数据
    items = soup.find_all("div", class_="item")
    for item in items:
        print(item.text.strip())

5. 注意事项

  1. 避免过快爬取： 遵守爬取频率，避免发送过多请求导致 IP 被封禁。

    import time
time.sleep(2)  # 每次请求间隔 2 秒

  2. 处理编码问题： 有些网页可能需要设置正确的编码。

    response.encoding = response.apparent_encoding

  3. 动态网页处理： 如果数据通过 JavaScript 动态加载，BeautifulSoup 无法直接爬取，可以结合 Selenium 或抓取接口。

  4. 合法性： 爬取前请检查目标网站的 robots.txt 文件，确保爬取行为合法。

6. BeautifulSoup 与 pandas 结合

爬取表格数据后，可以用 pandas 将数据保存为 CSV 或进行数据分析。

示例：保存表格数据为 CSV

import pandas as pd
from bs4 import BeautifulSoup

html = """
<table>
    <tr><th>姓名</th><th>年龄</th></tr>
    <tr><td>张三</td><td>25</td></tr>
    <tr><td>李四</td><td>30</td></tr>
</table>
"""
soup = BeautifulSoup(html, "lxml")

# 提取表格数据
data = []
rows = soup.find_all("tr")
for row in rows[1:]:  # 跳过表头
    cells = row.find_all("td")
    data.append([cell.string for cell in cells])

# 保存为 DataFrame
df = pd.DataFrame(data, columns=["姓名", "年龄"])
df.to_csv("data.csv", index=False)
print("数据已保存到 data.csv")

7. 总结

BeautifulSoup 是一个功能强大、易于使用的 HTML 解析库，非常适合静态网页爬取和数据提取。其主要特点包括：

  • 简单易用的 API，支持多种解析器。
  • 灵活的查找和遍历 HTML 元素的方法。
  • 可以与其他库（如 requests、pandas）结合使用，形成完整的数据爬取和分析流程。

通过熟练掌握 BeautifulSoup，您可以快速构建高效的爬虫程序，轻松应对各种静态网页的爬取任务。

以下会继续扩展 Python 爬虫 - BeautifulSoup 的功能应用，包括对高级网页解析的技巧、处理动态内容、异常处理以及结合其他工具实现更高效的爬取。

8. 高级 BeautifulSoup 使用技巧

8.1 灵活的 CSS 选择器

除了 find() 和 find_all() 方法，select() 方法允许使用 CSS 选择器进行复杂的元素筛选。

示例：使用 CSS 选择器

html = """
<div class="content">
    <ul id="list">
        <li class="item">Python</li>
        <li class="item">Java</li>
        <li class="item">C++</li>
    </ul>
</div>
"""
soup = BeautifulSoup(html, "lxml")

# 选择所有列表项
items = soup.select(".content .item")
for item in items:
    print(item.string)  # 输出: Python, Java, C++

8.2 正则表达式匹配

通过 re 模块，可以在 find_all() 等方法中使用正则表达式匹配元素。

示例：匹配特定格式的内容

import re
from bs4 import BeautifulSoup

html = """
<div>
    <p>Python 3.9</p>
    <p>Java 8</p>
    <p>C++ 11</p>
</div>
"""
soup = BeautifulSoup(html, "lxml")

# 匹配包含数字的段落
paragraphs = soup.find_all("p", string=re.compile(r"\d"))
for p in paragraphs:
    print(p.string)  # 输出: Python 3.9, Java 8, C++ 11

8.3 处理嵌套结构

BeautifulSoup 支持解析复杂的嵌套 HTML 结构，可以通过 .find() 或 .select() 逐层查找。

示例：提取嵌套结构中的数据

html = """
<div class="outer">
    <div class="inner">
        <span class="text">Hello, World!</span>
    </div>
</div>
"""
soup = BeautifulSoup(html, "lxml")

# 查找嵌套的 span 元素
text = soup.find("div", class_="outer").find("span", class_="text").string
print(text)  # 输出: Hello, World!

8.4 提取评论（Comment）节点

HTML 中的注释节点可以通过 Comment 类提取。

示例：提取注释内容
from bs4 import BeautifulSoup
from bs4 import Comment

html = """
<div>
    <!-- 这是注释 -->
    <p>这是正文</p>
</div>
"""
soup = BeautifulSoup(html, "lxml")

# 提取注释
comment = soup.find(string=lambda text: isinstance(text, Comment))
print(comment)  # 输出: 这是注释

9. BeautifulSoup 处理动态内容

BeautifulSoup 只能解析静态 HTML，对于动态加载的内容（如通过 JavaScript 渲染的部分），有以下解决方案：

9.1 抓取接口数据

许多动态网页通过 API 提供数据，可以尝试抓取接口数据而不是直接解析 HTML。

示例：抓取 JSON 数据

import requests

url = "https://api.github.com/repos/python/cpython"
response = requests.get(url)
data = response.json()

# 提取仓库信息
print("仓库名:", data["name"])
print("Star 数:", data["stargazers_count"])

9.2 使用 Selenium 加载动态内容

对于完全依赖 JavaScript 渲染的内容，可以结合 Selenium 模拟浏览器操作。

示例：使用 Selenium 获取动态网页 HTML

from selenium import webdriver
from bs4 import BeautifulSoup

driver = webdriver.Chrome()
driver.get("https://example.com")

# 获取动态加载的 HTML
html = driver.page_source
soup = BeautifulSoup(html, "lxml")

# 提取动态内容
print(soup.find("div", id="dynamic-content").text)

driver.quit()

9.3 处理分页爬取

动态网页通常需要通过分页加载数据，可以模拟点击下一页按钮，或者直接抓取分页接口。

示例：模拟分页抓取

base_url = "https://example.com/page={}"
for page in range(1, 4):  # 假设有 3 页
    url = base_url.format(page)
    response = requests.get(url)
    soup = BeautifulSoup(response.text, "lxml")

    # 提取当前页数据
    items = soup.find_all("div", class_="item")
    for item in items:
        print(item.text.strip())

10. 异常处理和爬虫优化

在编写爬虫时，可能会遇到网络错误、HTML 结构变化等问题。以下是常见的异常处理和优化方法：

10.1 异常处理

示例：处理请求异常

import requests

url = "https://example.com"
try:
    response = requests.get(url, timeout=10)
    response.raise_for_status()  # 检查 HTTP 状态码
except requests.exceptions.RequestException as e:
    print(f"请求失败: {e}")
示例：处理解析异常

from bs4 import BeautifulSoup

html = "<div><p>段落</div>"  # 不完整的 HTML
try:
    soup = BeautifulSoup(html, "lxml")
    print(soup.p.string)
except Exception as e:
    print(f"解析失败: {e}")

10.2 设置请求头

添加请求头可以伪装成普通用户，避免被反爬机制拦截。

示例：设置请求头

headers = {
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36"
}
response = requests.get("https://example.com", headers=headers)

10.3 设置延迟

为了避免触发反爬机制，可以在每次请求之间设置随机延迟。

示例：随机延迟

import time
import random

time.sleep(random.uniform(1, 3))  # 延迟 1~3 秒

10.4 使用代理

通过代理 IP，可以隐藏真实 IP 地址，绕过 IP 限制。

示例：设置代理

proxies = {
    "http": "http://123.123.123.123:8080",
    "https": "https://123.123.123.123:8080"
}
response = requests.get("https://example.com", proxies=proxies)
print(response.text)

11. BeautifulSoup 与数据库结合

爬取的数据可以存储到数据库中，方便后续分析或使用。

11.1 存储到 SQLite

示例：保存爬取数据到 SQLite

import sqlite3
from bs4 import BeautifulSoup

# 创建 SQLite 数据库
conn = sqlite3.connect("data.db")
cursor = conn.cursor()
cursor.execute("CREATE TABLE IF NOT EXISTS data (title TEXT, link TEXT)")

# 示例 HTML
html = """
<div>
    <a href="https://example.com/1">标题 1</a>
    <a href="https://example.com/2">标题 2</a>
</div>
"""
soup = BeautifulSoup(html, "lxml")
links = soup.find_all("a")

# 插入数据
for link in links:
    title = link.string
    url = link["href"]
    cursor.execute("INSERT INTO data (title, link) VALUES (?, ?)", (title, url))

conn.commit()
conn.close()
print("数据已保存到 SQLite 数据库")

11.2 存储到 CSV 文件

示例：保存爬取数据到 CSV

import csv
from bs4 import BeautifulSoup

# 示例 HTML
html = """
<div>
    <a href="https://example.com/1">标题 1</a>
    <a href="https://example.com/2">标题 2</a>
</div>
"""
soup = BeautifulSoup(html, "lxml")
links = soup.find_all("a")

# 保存到 CSV
with open("data.csv", "w", newline="", encoding="utf-8") as file:
    writer = csv.writer(file)
    writer.writerow(["标题", "链接"])  # 写入表头
    for link in links:
        writer.writerow([link.string, link["href"]])
print("数据已保存到 data.csv")

12. 总结与扩展

通过 BeautifulSoup，您可以轻松解析 HTML 和 XML 文档，进行高效的数据提取。以下是一些扩展方向：

  • 与动态内容结合：利用 Selenium 或抓取 API 处理复杂动态网页。
  • 大规模爬取优化：结合多线程、多代理，提高爬虫效率。
  • 数据可视化：将爬取的数据结合 pandas 和 matplotlib 进行分析与可视化。
  • 持续学习：探索其他强大的爬虫框架，如 Scrapy，用于构建更复杂的爬取项目。

BeautifulSoup 是构建 Python 爬虫的起点，通过实践，您可以掌握完整的 Web 数据采集技能，并为后续高级项目打下坚实基础。

网页数据解析
Junds0的博客
03-05 4209
第1关：XPath解析网页 本关任务：在 XPath 基础实训中，介绍了 XPath 的基础知识，本关需要使用 XPath 技术来编写解析网页的程序。 import urllib.request from lxml import etree def get_data(url): ''' :param url: 请求地址 :return: None ''' response=urllib.request.urlopen(url=url)
BeautifulSoup的基本功能介绍
Z_suger7的博客
03-10 783
在日常爬虫工作中会遇到很多数据对比的测试任务，在后端接口有做数据加密，或接口有做鉴权等情况下，我们再从后端去取参数，耗费的时间成本就会增加。关于BeautifulSoup爬的使用这里我们可以简单的介绍下，BeautifulSoup是python的一个库，最主要的功能是从网页抓取数据，在抓取的过程中会使用到一些功能。爬取数据案例如下，这里以访问豆瓣为需求，因为豆瓣的反爬机制都是比较严的，并且需要登录，这里只是实践不做大量数据抓取，所以只在代码里面添加了代理IP。
Python 爬虫：如何用 BeautifulSoup 爬取网页数据
白帽阿叁的博客
09-21 1万+
本文介绍了如何使用 BeautifulSoup 爬取网页数据，并提供了详细的代码和注释。通过本文的学习，读者可以掌握如何使用 BeautifulSoup 解析 HTML 和 XML 文档，从而提取出需要的数据。同时，读者也可以将本文中的代码应用到其他网页数据的爬取中。
python 爬虫热身篇 使用 requests 库通过 HTTP 读取网络数据，使用 pandas 读取网页上的表格，使用 Selenium 模拟浏览器操作
a883774913的博客
08-08 2741
本教程分为三个部分;使用requests库使用panda在网络上阅读表格用selenium阅读动态内容。
BeautifulSoup安装、使用和示例
weixin_63332876的博客
03-21 3267
BeautifulSoup安装及使用
python-crawler-python爬虫
06-28
第四，需要选择合适的爬虫框架，Python 中有多种爬虫框架可供选择，如 Scrapy、BeautifulSoup、Requests 等。不同的框架有其特点和优缺点，选择合适的框架可以帮助你更好地实现爬虫。第五，需要了解爬虫的反爬虫机制...
精选资源
python爬虫教学-python爬虫
02-20
Python爬虫教学是一个针对初学者和有一定编程基础的开发者设计的教程，旨在教授如何使用Python进行网络数据抓取。在互联网上，数据无处不在，而Python爬虫可以帮助我们自动化地获取这些数据，用于数据分析、研究或...
精选资源
爬虫基础 - python爬虫基础
最新发布
11-09
Python爬虫需要模拟这一过程，通过编写代码发送请求并接收响应，从而获得网页内容。 HTML文档解析是爬虫提取信息的关键步骤。HTML文档结构化内容被包含在各种标签内，解析HTML文档就是提取这些标签中的数据。Python...
Python-python爬虫由浅入深
08-10
《Python Python爬虫由浅入深》 Python作为一门易学且功能强大的编程语言，尤其在Web爬虫领域，有着广泛的应用。Web爬虫是一种自动提取网页信息的程序，它能够帮助我们批量获取网络上的数据，进行数据分析、信息...
精选资源
zhaopin-python爬虫案例-招聘网站信息爬取.rar
05-31
该压缩包文件“zhaopin-python爬虫案例-招聘网站信息爬取.rar”是一个关于使用Python进行网络爬虫的实例，主要目的是抓取招聘网站上的信息。这个案例旨在教授如何利用Python编程语言来自动化地从网页上获取数据，...
爬虫系列（1）：使用BeautifulSoup爬取网页
Ares_WangZiquan的博客
03-05 9576
爬虫系列（1）：使用BeautifulSoup爬取网页前言一、pandas是什么？二、使用步骤1.引入库2.读入数据总结 前言 提示：这里可以添加本文要记录的大概内容： 例如：随着人工智能的不断发展，机器学习这门技术也越来越重要，很多人都开启了学习机器学习，本文就介绍了机器学习的基础内容。 提示：以下是本篇文章正文内容，下面案例可供参考 一、pandas是什么？ 示例：pandas 是基于NumPy 的一种工具，该工具是为了解决数据分析任务而创建的。 二、使用步骤 1.引入库 代码如下（示例）： imp
使用requests+beautifulsoup爬取你想要的数据
热门推荐
passionboyxie的专栏
01-05 1万+
在当今大数据时代，数据是比较值钱的东西。很多数据是你拿不到的，要靠自己收集。有一种方法叫爬虫。就是通过爬取网页内容，获得想要的数据。 我们爬取数据能干什么。这就看你的需求。比如有人可以爬网站，下载资源(电影，歌曲，文档，书籍等) 有人可以爬取网站，获取资讯，如爬股票网站，获取股票历史数据；为自己的投资做参考。 爬取招聘网站，可以了解工作机会。 爬取房产网站，获取房价走势，决定出手时机。 爬取
使用BeautifulSoup爬取图片入门篇
我是小妖怪，逍遥又自在
10-20 3015
首先简单分析可知，page后面为当前页码。 图片url的属性为 "data-src" <img data-src="https://www.gifjia.com/wp-content/uploads/2019/10/15715434672091492-220x150.jpg" alt="甜到你心头白嫩美肤小姐姐板医生 用饱满山峰诠释萌系姐姐们！-GIF发源地" src="https...
使用Python和BeautifulSoup进行网页爬取
cumei1658的博客
07-11 3037
To source data for data science projects, you’ll often rely on SQL and NoSQL databases, APIs, or ready-made CSV data sets. 为了为数据科学项目提供数据，您通常将依赖于SQL和NoSQL数据库， API或现成的CSV数据集。 The problem is that you c...
BeautifulSoup简单爬取百度贴吧
ningyingqi的博客
12-09 1886
BeautifulSoup简单爬取百度贴吧()一.分析百度贴吧网页信息 注意：本人使用的环境为python3.6+pycharm2017.2.4我们以百度贴吧权利的游戏吧为例:http://tieba.baidu.com/f?ie=utf-8&kw=权利的游戏&fr=search 分析网页我们发现规律:每换一页pn增加50 这个在我们抓取每页信息循环页数的时候用得上。 好了我们现在来分析下我们
Python爬虫：用BeautifulSoup进行NBA数据爬取
weixin_34060741的博客
04-13 1053
爬虫主要就是要过滤掉网页中无用的信息，抓取网页中有用的信息 一般的爬虫架构为： 在python爬虫之前先要对网页的结构知识有一定的了解，如网页的标签，网页的语言等知识，推荐去W3School： W3school链接进行了解 在进行爬虫之前还要有一些工具： 1.首先Python 的开发环境：这里我选择了python2.7，开发的I...
BeautifulSoup爬取豆瓣电影排名
肉夹馍的博客
01-18 3057
豆瓣电影排名网址：https://movie.douban.com/top250?start=0&amp;amp;amp;amp;amp;filter= 在进去豆瓣电影排名后，打开浏览器的检查功能分析爬取页面源代码，在写请求代码之前，首先我们得找出网页的请求头部。 请求头部中的’User-Agent’，是一个特殊的字符串头，可以使服务器识别客户使用的操作系统及版本，浏览器版本等信息。在做爬虫时加上该信息，可以伪装为浏览器，不加...
BeautifulSoup 爬取多玩今日囧图的图片
lwx356481的博客
08-01 1734
（1）使用技术 python 3.5.2、requests 、BeautifulSoup  （2）背景介绍 爬取的网站http://tu.duowan.com/tag/5037.html 需要爬取的内容是网站上面的图片 首先我们观察一下今日囧途的每个图片点进去之后，会有详情页面。而这个想进入详情页面，我们必须要先爬取到这些url。之后通过url，然后进入页面也就是红框的的url 然后进...
BeautifulSoup4爬取猫眼电影前一百
ynztwlz的博客
11-07 1964
最开始学习python，是因为爬虫。最初学习小甲鱼的教学视频，后来在小甲鱼的论坛上发现了用bs4爬取豆瓣前一百，当时怎么也看不懂。后来系统的学习了一下爬虫。参考了崔大佬的爬虫之后，改编书上的例子（书上用正则法则），我这里用bs4，后文会附上正则法则解析网页。   系统流程： 1.观察页面构造--知道要提取多少页，url构造方式等 2.编写函数解析每一页--得到每一页需要的数据 3.数据清...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

小宝哥Code

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值