ResNet系列模型：从入门到深度学习实践

最新推荐文章于 2025-03-10 10:58:20 发布

FasterThanMind

最新推荐文章于 2025-03-10 10:58:20 发布

阅读量1.4k

点赞数 9

本文链接：https://blog.csdn.net/weixin_34535286/article/details/143670669

版权

本文还有配套的精品资源，点击获取

简介：ResNet系列是深度学习领域中使用的卷积神经网络模型，其创新性的“残差块”解决了深度神经网络训练的梯度消失问题。本压缩包提供ResNet18、ResNet34、ResNet50、ResNet101和ResNet152五种不同深度的预训练模型权重，适合不同计算资源和任务需求。这些模型在ImageNet数据集上训练，可用于迁移学习，提升新图像识别任务的效率和准确性。TorchVision库提供加载和使用这些模型的工具，方便研究人员和开发者进行图像识别和物体检测等任务。 ResNet

1. ResNet系列模型简介

1.1 深度学习与卷积神经网络（CNN）

深度学习已成为计算机视觉领域的核心技术。其中，卷积神经网络（CNN）因其出色的特征提取能力而广泛应用于图像识别任务。CNN通过卷积层捕捉局部特征，随后通过池化层降低特征维度，逐步构建出高级抽象特征。

1.2 ResNet的提出背景

尽管CNN在多个视觉任务中取得了突破性进展，但传统网络结构随着层数的加深，容易出现梯度消失或梯度爆炸等问题，导致训练难度增加，性能难以提升。ResNet（残差网络）的提出，为解决这一难题提供了新的思路。

1.3 ResNet的核心创新

***t通过引入残差学习框架，解决了深度网络中的退化问题，即网络层数增加但性能不再提高甚至下降的问题。其核心思想是通过“快捷连接”将输入直接与更深层的输出相加，简化了学习过程，使得训练更深层次的网络成为可能。

以上章节介绍了深度学习领域内的CNN与ResNet模型的基本概念和提出背景，为理解ResNet系列模型打下基础。后续章节将进一步探讨ResNet的具体实现和应用场景。

2. 残差块技术特点及其实现

2.1 残差块的概念与设计原理

2.1.1 传统深度神经网络的挑战

深度神经网络在发展过程中遇到了几个关键性的挑战，主要包括梯度消失和梯度爆炸问题。这些现象导致训练深层网络变得极其困难，尤其是当网络层数超过一定数量后，模型的性能不但不会随着层数增加而提升，反而可能下降。此外，随着网络层数的增加，训练数据中的特征可能会发生退化现象，即随着网络深度增加，训练误差反而增大，造成模型无法有效学习到数据的特征表示。

2.1.2 残差学习框架的提出

为了解决上述问题，Kaiming He等人于2015年提出了一种新的网络结构——残差网络（ResNet）。ResNet的核心思想是引入了“残差学习”的概念，即在神经网络中增加“跳跃连接”（也称为残差连接），允许信号直接跨过一个或多个层传递。这种设计允许网络在增加深度的同时不会引入额外的训练误差，并有助于优化算法更有效地传播梯度，从而缓解梯度消失和梯度爆炸问题。

2.2 残差块的具体实现方式

2.2.1 残差块结构分析

残差块是ResNet模型中的基础组件。一个典型的残差块包含两个或三个卷积层，每个卷积层后会跟随一个批量归一化层（Batch Normalization）和非线性激活函数（如ReLU）。最重要的部分是残差连接，它直接将输入信号加到残差块的输出上。

具体来说，假设输入为 x ，残差块包含的函数为 F(x, {Wi}) ，其中 {Wi} 表示残差块中可学习的参数。在残差块内部，会先计算 F(x, {Wi}) ，然后将结果与输入 x 进行相加得到输出 y ，即 y = F(x, {Wi}) + x 。这种结构使得即使 F(x, {Wi}) 输出为零，网络仍能保持输入 x 的原始信息，这有助于避免训练过程中退化现象的发生。

2.2.2 残差连接的作用与优化

残差连接的引入不仅解决了一些训练难题，还允许网络训练更深的架构。在实际的网络中，残差块可以堆叠使用，由于残差连接的存在，使得即使在很深的网络中，梯度也能有效流动。

残差连接还有助于网络优化。由于模型可以学习到 F(x, {Wi}) 和 -x 的组合，可以更容易地调整网络的输出来适应训练数据，从而提高模型的性能。

2.3 残差块对网络性能的影响

2.3.1 消除退化现象的机制

残差块通过其特殊的连接方式有效地解决了训练深层神经网络时的退化问题。在没有残差块的情况下，随着网络层数的增加，训练误差可能会增加，这是因为网络学习到的残差 F(x, {Wi}) 可能并不会对最终的输出 y 有贡献，反而可能引入噪声。

而在残差网络中，即使网络层数增加，每一层的残差连接仍然将输入直接传递到输出，使得网络即使在很深的层次上也能保持信息的完整传递。这样不仅不会增加训练误差，反而可以帮助模型更好地学习数据特征，提高性能。

2.3.2 实验结果与性能比较

在Kaiming He等人2015年的论文中，ResNet通过在ImageNet数据集上进行实验展示了其卓越的性能。在不同深度的ResNet模型中，即便达到了152层，模型的性能依然显著优于较浅的网络。这一结果充分证明了残差块在解决深度网络训练难题方面的有效性。

实验数据表明，当模型层数从34层增加到50层、101层，甚至152层时，ResNet的错误率持续降低。特别是ResNet-152，在保持高准确率的同时，相比于较浅的网络，还减少了参数数量。这些结果打破了之前关于网络深度和性能之间的传统认知，为深度学习的发展开辟了新的道路。

以下是2.3.2节的一个示例表格，比较了不同深度的ResNet模型在ImageNet数据集上的表现：

| 模型 | 深度 | Top-1错误率 | Top-5错误率 | 参数数量 | |------|------|-------------|-------------|----------| | ResNet-34 | 34 | 24.4% | 7.5% | 21.8M | | ResNet-50 | 50 | 23.5% | 6.9% | 25.6M | | ResNet-101 | 101 | 22.1% | 6.2% | 44.6M | | ResNet-152 | 152 | 21.3% | 5.8% | 60.2M |

通过比较不同深度的ResNet模型，我们可以看到，随着网络深度的增加，模型的准确率得到提升，但同时也需要注意，过深的网络会带来更多的参数和计算量，需要在实践中根据具体需求和资源条件做出平衡选择。

3. 不同深度的ResNet模型深入解析

3.1 ResNet模型的系列分类

3.1.1 从ResNet-18到ResNet-152的基本架构

ResNet模型通过引入残差学习框架，成功解决了深度网络训练中的退化问题。从ResNet-18到ResNet-152，模型的深度从18层增加到152层，架构上也有所变化。

ResNet-18 和 ResNet-34 模型较浅，主要用于快速测试和验证想法。它们的结构较为简单，计算效率高。
ResNet-50 、 ResNet-101 和 ResNet-152 是更深层的模型，它们在图像识别、目标检测和语义分割等领域取得了突破性的成果。

所有这些模型都遵循相同的残差学习原则，即每个层次的输入通过快捷连接直接传递到更深层的层次。残差块的引入使得网络可以更容易地训练更深层次的结构。

graph LR
A[输入] -->|1x1卷积| B[卷积层]
B -->|非线性激活| C[批量归一化]
C -->|跳跃连接| D[输出]
D -->|下采样| E[更深层的卷积层]
A -->|跳跃连接| E

3.1.2 不同模型深度对比分析

随着网络深度的增加，模型的性能通常会有所提升，但同时也会带来过拟合、梯度消失或梯度爆炸等问题。在ResNet系列中，这一问题通过引入残差块得到了有效缓解。

深度与准确度 ：随着ResNet模型深度的增加，其在ImageNet数据集上的top-1和top-5准确率均有所提高。
计算资源与时间 ：更深的模型需要更多的计算资源和更长的训练时间，但它们能够学习到更丰富的特征表示。
过拟合问题 ：随着深度增加，模型复杂度提高，过拟合的风险也相应增加。通常需要采用正则化、数据增强、Dropout等技术来防止过拟合。

3.2 关键技术点的详细探讨

3.2.1 深度与性能的关系

在深度学习模型设计中，网络的深度是一个关键因素。它直接影响到模型的性能，但同时也会影响训练的稳定性和泛化能力。

性能提升 ：网络深度增加通常意味着模型可以捕捉更复杂的特征。在图像分类等任务中，更深的模型往往能达到更高的准确率。
训练难度 ：更深的网络更容易导致梯度消失或爆炸。残差网络通过引入跳跃连接来解决这个问题，使得梯度可以更直接地在网络中流动。

3.2.2 模型宽度与深度的权衡

在设计深度学习模型时，除了深度外，宽度也是一个重要的考虑因素。宽度指的是每层的神经元（或通道）数量，深度则是模型的层数。

宽度的扩展 ：增加模型宽度即增加每个卷积层的通道数，可以增强模型的特征表达能力。
权衡取舍 ：增加宽度虽然会提升模型性能，但同时也会使模型参数量大增，导致计算资源需求提高。在实际应用中，需要根据可用资源和性能需求来选择合适的模型深度和宽度。

graph TD
A[ResNet] --> B[深度与宽度]
B --> C[深度增加]
B --> D[宽度增加]
C --> E[性能提升]
D --> F[资源需求增加]
E --> G[训练难度]
F --> H[性能上限]
G --> I[梯度消失/爆炸]
H --> J[性能提升上限]
I --> K[残差连接缓解]

3.3 实际应用场景的选择

3.3.1 各模型的适用领域

不同的ResNet模型因其深度和性能的不同，在实际应用中的适用领域也有所区别。

ResNet-18 和 ResNet-34 ：由于其较小的模型大小和快速的推理速度，它们适用于移动和嵌入式设备，如手机和无人机等。
ResNet-50 ：在多个实际应用中得到广泛应用，如云计算服务和智能监控系统。
ResNet-101 和 ResNet-152 ：常用于需要高精度识别的场合，比如自动驾驶汽车中的图像处理。

3.3.2 模型选择的考量因素

选择合适的ResNet模型需要考虑多个因素，包括但不限于：

硬件资源 ：可用的计算资源和存储空间。
应用需求 ：所需的准确度和实时性。
模型复杂度 ：模型的复杂度直接关系到训练和推理的时间。

在实际部署时，还应考虑到模型的维护和更新，以及是否需要进行模型压缩和优化以满足特定设备的性能要求。

4. 预训练模型权重的应用与迁移学习

随着深度学习的发展，预训练模型权重的应用和迁移学习成为了重要的技术手段，它们大大缩短了训练时间并提高了模型的准确率。在本章中，我们将深入了解预训练模型权重的重要性和实际操作中的迁移学习技巧。

4.1 预训练模型权重的意义

4.1.1 为何使用预训练模型

预训练模型是在大规模数据集上预先训练好的模型，这些模型已经学习到了丰富的特征表示。使用预训练模型可以使得在特定任务上进行微调时，可以利用模型之前的学习成果，从而加速收敛速度，降低计算成本，提高模型性能。尤其是当我们的训练数据较少时，利用预训练模型进行迁移学习是极为有效的策略。

4.1.2 预训练模型的优势与局限性

预训练模型的主要优势在于可以重用已经学习到的知识，并且不需要从头开始训练模型，这在数据稀缺或计算资源受限的情况下尤为重要。此外，预训练模型在特定任务上的迁移学习往往可以达到或接近从零开始训练的模型性能。

然而，预训练模型也存在局限性。首先，预训练模型的适用性受限于原任务与新任务之间的相关性，如果两个任务差异较大，则迁移效果可能不佳。其次，预训练模型通常参数量庞大，可能需要较强的计算资源来微调和部署。再者，预训练模型可能包含隐私或版权信息，使用时需要注意合规性。

4.2 迁移学习的理论基础

4.2.1 迁移学习的定义和原理

迁移学习（Transfer Learning）指的是将在一个问题领域（源任务）所获得的知识应用到另一个相关但不同的问题领域（目标任务）的过程。其基本原理是提取源任务中的通用特征，并将这些特征用于目标任务的学习，期望在目标任务上取得更好的性能。

4.2.2 迁移学习在深度学习中的重要性

在深度学习领域，迁移学习尤为重要，因为它允许我们利用已有的、在大规模数据集上训练好的模型来提高新任务的学习效率和性能。尤其当目标任务的数据量较小，无法从头开始训练一个有效的深度模型时，迁移学习可以发挥关键作用。

4.3 实际操作中的迁移学习技巧

4.3.1 如何选择合适的预训练模型

选择合适的预训练模型需要考虑以下几个因素：

模型与任务的相似性 ：选择与目标任务相关的源任务上的预训练模型。
模型的复杂度 ：根据计算资源选择合适大小的模型。
模型的可访问性 ：确认有权使用预训练模型，尤其是在商业应用中。

4.3.2 迁移学习的步骤与注意事项

迁移学习通常包括以下步骤：

选择预训练模型 ：基于上文所述因素，选择一个合适的预训练模型。
微调模型 ：在目标任务上对预训练模型进行进一步训练，通常只更新部分层的权重。
评估模型性能 ：使用验证集评估模型性能，根据需要进行调参或结构优化。
部署模型 ：将微调后的模型部署到生产环境中。

在迁移学习的过程中，有几个注意事项：

避免过拟合 ：在目标任务上的数据量通常有限，需要通过正则化等技术避免过拟合。
学习率调整 ：微调时通常需要比在源任务训练时更低的学习率。
监控任务适应性 ：确保微调后的模型对目标任务具有良好的适应性，避免仅在源任务上表现优异。

以上内容为本章中预训练模型权重的应用与迁移学习章节的详细介绍。在接下来的章节中，我们将探讨ImageNet数据集及其对深度学习的重要贡献。

5. ImageNet数据集及其作用

ImageNet数据集是深度学习领域中一个具有里程碑意义的大型视觉识别数据库，它对于推动计算机视觉和深度学习技术的发展起到了不可估量的作用。

5.1 ImageNet数据集概述

5.1.1 数据集的构成与规模

ImageNet数据集是由斯坦福大学计算机科学家Fei-Fei Li教授领导的一项研究项目构建的。数据集的目的是提供足够多的标记图像，以涵盖常见物体和场景的丰富语义信息。其数据来源主要来自网络搜索和亚马逊的众包平台（如Amazon Mechanical Turk）。为了保证图像的质量，每张图像都经过了人工审核。

ImageNet包含了数百万张标记图像，这些图像被组织在成千上万个类别中。每个类别中都有数百到数千张图像，因此数据集的规模非常庞大。例如，ImageNet 2012版本包含了超过1400万张已标记的图片，分布在22000个类别中。这些类别大都与日常生活相关，涵盖了自然界的方方面面，从动物、植物到各种日常用品。

5.1.2 ImageNet在图像识别中的地位

自从2010年开始，ImageNet每年举办一项公开的比赛，被称为ImageNet大规模视觉识别挑战赛（ILSVRC）。比赛的目标是利用数据集来评估和比较图像识别算法的性能，尤其是对象分类和物体定位。ILSVRC成为了计算机视觉和深度学习领域的一个重要基准测试。

ImageNet挑战赛极大地激励了研究人员创新并改进他们的算法，许多参赛算法对整个深度学习社区产生了深远影响。例如，AlexNet、VGG、GoogLeNet和ResNet等模型都是在ILSVRC中大放异彩，推动了图像识别技术的飞速发展。

5.2 数据集的处理与应用

5.2.1 数据增强与预处理

为了提高模型的泛化能力，数据增强是一种常用的技术。它通过在原始图像上应用各种变换来生成新的训练样本，例如旋转、缩放、裁剪、颜色调整等。这样不仅可以增加训练数据的多样性，还可以减少过拟合的风险。在ImageNet数据集上训练深度学习模型时，数据增强是不可或缺的一部分。

预处理是深度学习中将原始图像转换为模型能够接受的输入格式的过程。例如，图像通常需要被缩放到固定尺寸，且像素值需要被归一化。ImageNet数据集中的图像因为来源广泛，所以在实际使用之前，数据预处理显得尤为重要。

5.2.2 数据集在模型训练中的作用

深度学习模型的性能高度依赖于高质量的数据和大量的训练样本。ImageNet作为一个大规模且多样化的数据集，为训练复杂的深度神经网络提供了理想的条件。在模型训练过程中，ImageNet数据集不仅帮助模型学习到区分不同类别的特征，还增强了模型对复杂背景和不同光照条件的适应能力。

由于ImageNet数据集的复杂性，训练在该数据集上表现良好的模型通常需要消耗大量的计算资源和时间。但一旦模型成功训练，它将能够处理各种实际应用中的视觉识别任务。

5.3 对深度学习的推动意义

5.3.1 ImageNet挑战赛的历史影响

ILSVRC比赛不仅推动了图像分类技术的发展，也为深度学习社区提供了一个竞技平台。比赛的结果通常标志着当前技术的最前沿水平。每年比赛结束后，来自世界各地的研究者会审视优胜算法的细节，从中学习并寻找进一步改进的方法。

比赛还促进了算法和计算资源的创新。例如，2012年AlexNet的获胜引起了GPU在深度学习训练中的广泛应用。此外，比赛也激发了深度学习模型架构的创新，如引入更深的网络、更复杂的连接结构等。

5.3.2 深度学习技术的进步与启示

ImageNet数据集和ILSVRC比赛是深度学习技术进步的一个缩影。从AlexNet到ResNet，我们可以观察到模型逐渐变得更深、更复杂，同时性能也在不断提高。这一过程中，研究者们对深度学习的理解也不断深入，从权值初始化、激活函数、批量归一化到优化器的选择等细节方面都有了显著的进步。

从这些进步中，我们可以看到深度学习技术的几个关键启示：第一，足够大的数据集对于训练高性能的模型是必要的；第二，深度模型需要有效的训练技巧和优化策略才能收敛；第三，模型的创新不应只关注深度，还应考虑到模型结构的设计和效率。

通过这些启示，深度学习社区得以在图像识别、自然语言处理、语音识别等多个领域取得突破性的进展。

6. TorchVision库的使用与实践

6.1 TorchVision库简介

6.1.1 TorchVision的功能与特点

TorchVision 是 PyTorch 生态系统中专门用于处理计算机视觉任务的库。它为研究人员和开发者提供了一套高效的工具，包括图像、视频和数据集的加载、预处理、以及常用模型架构。其特点包括：

强大的图像转换能力 ：TorchVision 支持多种图像变换操作，如缩放、裁剪、翻转、旋转等，同时支持标准化和归一化操作，为模型训练准备输入数据。
丰富的模型预训练权重 ：包含多种经典模型的预训练权重，例如 VGG、ResNet、AlexNet 等，为迁移学习提供了便利。
支持常用数据集 ：提供了对常用视觉数据集如 ImageNet、CIFAR-10/100、VOC Pascal 等的加载工具，简化了数据预处理流程。

6.1.2 TorchVision在深度学习中的角色

TorchVision 不仅是 PyTorch 的扩展模块，更是深度学习实践中的重要组件。它通过提供一系列的高效、易用的API，促进了深度学习模型在实际应用中的快速部署和运行。TorchVision 通过以下几个方面在深度学习领域发挥作用：

快速原型开发 ：利用 TorchVision，开发者能够快速构建视觉识别系统的原型，加速了从研究到应用的转化。
强化学习模型的性能 ：通过预训练模型和数据集，TorchVision 提供了一种有效的方法来提升模型在特定任务上的性能。
标准化流程 ：它帮助研究人员和开发者遵循一套标准化的视觉任务处理流程，保证了实验结果的可复现性。

6.2 TorchVision的安装与配置

6.2.1 安装步骤与环境设置

安装 TorchVision 可以通过 pip 或者 conda 进行，以下是推荐的安装步骤：

创建并激活虚拟环境 （可选）： shell python -m venv myenv source myenv/bin/activate # 对于Windows系统使用 `myenv\Scripts\activate`
使用 pip 安装 PyTorch ： shell pip install torch torchvision 或者使用 conda： shell conda install pytorch torchvision -c pytorch

安装完成后，可以通过 Python 代码检测是否安装成功：

import torchvision
print(torchvision.__version__)

6.2.2 数据集加载与预处理工具

TorchVision 提供了多个实用工具来加载和处理图像数据集。下面的代码示例展示了如何使用 torchvision.datasets 和 torchvision.transforms 来下载 CIFAR-10 数据集并进行简单的预处理：

import torchvision
import torchvision.transforms as transforms

# 下载CIFAR-10数据集并进行预处理
transform = ***pose(
    [transforms.ToTensor(),
     transforms.Normalize((0.5, 0.5, 0.5), (0.5, 0.5, 0.5))])

trainset = torchvision.datasets.CIFAR10(root='./data', train=True,
                                        download=True, transform=transform)
trainloader = torch.utils.data.DataLoader(trainset, batch_size=4,
                                          shuffle=True, num_workers=2)

testset = torchvision.datasets.CIFAR10(root='./data', train=False,
                                       download=True, transform=transform)
testloader = torch.utils.data.DataLoader(testset, batch_size=4,
                                         shuffle=False, num_workers=2)

6.3 实际案例分析

6.3.1 使用TorchVision进行模型训练

下面以 ResNet-18 模型在 CIFAR-10 数据集上进行训练为例，演示如何使用 TorchVision 进行模型训练：

import torch
import torchvision
import torchvision.transforms as transforms
import torch.nn as nn
import torch.optim as optim

# 设置设备
device = torch.device("cuda:0" if torch.cuda.is_available() else "cpu")

# 下载并预处理训练数据
transform = ***pose(
    [transforms.ToTensor(),
     transforms.Normalize((0.5, 0.5, 0.5), (0.5, 0.5, 0.5))])

trainset = torchvision.datasets.CIFAR10(root='./data', train=True,
                                        download=True, transform=transform)
trainloader = torch.utils.data.DataLoader(trainset, batch_size=4,
                                          shuffle=True, num_workers=2)

# 下载并预处理测试数据
testset = torchvision.datasets.CIFAR10(root='./data', train=False,
                                       download=True, transform=transform)
testloader = torch.utils.data.DataLoader(testset, batch_size=4,
                                         shuffle=False, num_workers=2)

# 使用预训练的 ResNet-18 模型
net = torchvision.models.resnet18(pretrained=True)
net.fc = nn.Linear(net.fc.in_features, 10) # 修改最后的分类器为10类输出

net.to(device)

# 定义损失函数和优化器
criterion = nn.CrossEntropyLoss()
optimizer = optim.SGD(net.parameters(), lr=0.001, momentum=0.9)

# 训练网络
for epoch in range(2):  # 遍历数据集多次

    running_loss = 0.0
    for i, data in enumerate(trainloader, 0):
        # 获取输入
        inputs, labels = data[0].to(device), data[1].to(device)

        # 梯度置零
        optimizer.zero_grad()

        # 前向 + 反向 + 优化
        outputs = net(inputs)
        loss = criterion(outputs, labels)
        loss.backward()
        optimizer.step()

        # 打印统计信息
        running_loss += loss.item()
        if i % 2000 == 1999:    # 每2000个小批量打印一次
            print('[%d, %5d] loss: %.3f' %
                  (epoch + 1, i + 1, running_loss / 2000))
            running_loss = 0.0

print('Finished Training')

# 测试网络性能
correct = 0
total = 0
with torch.no_grad():
    for data in testloader:
        images, labels = data[0].to(device), data[1].to(device)
        outputs = net(images)
        _, predicted = torch.max(outputs.data, 1)
        total += labels.size(0)
        correct += (predicted == labels).sum().item()

print('Accuracy of the network on the 10000 test images: %d %%' % (
    100 * correct / total))

6.3.2 实战技巧与常见问题

在使用 TorchVision 进行模型训练时，以下是一些实用的技巧和应对常见问题的方法：

使用预训练模型 ：通常，在较小的数据集上从头开始训练模型是困难的。利用预训练模型进行迁移学习能够加速收敛，并提高模型性能。
学习率调整策略 ：根据模型训练的进展调整学习率可以提高收敛速度和最终性能。TorchVision 与 PyTorch 都支持多种学习率调度器。
数据增强 ：适当的数据增强可以有效防止过拟合，提升模型的泛化能力。TorchVision 提供了丰富的图像变换操作用于数据增强。
多 GPU 训练 ：在拥有多个 GPU 的情况下，可以使用 torch.nn.DataParallel 或 torch.nn.parallel.DistributedDataParallel 来加速模型训练。
调试和监控 ：使用 PyTorch 的 TensorBoard 插件来监控训练过程中的各种指标（例如损失和准确率），有助于快速诊断问题。

在实际操作中，如果遇到模型训练过程中的梯度消失或爆炸问题，可以尝试使用不同的初始化方法或者修改网络结构来解决。另外，在数据加载和模型保存方面，要确保数据集的路径正确无误，并且在保存模型时指定保存路径和文件名。在训练过程中，定期保存模型的检查点（checkpoint）也是一个良好的实践，可以在训练中断时恢复训练。