21_Inception V4、Inception-ResNet图像分类算法

江畔柳前堤

于 2024-07-10 11:33:38 发布

阅读量1.2k

点赞数 21

分类专栏：深度学习论文精读文章标签：分类数据挖掘人工智能深度学习目标检测机器学习 pytorch

本文链接：https://blog.csdn.net/qq_51605551/article/details/140316921

版权

深度学习论文精读专栏收录该内容

36 篇文章 3 订阅

订阅专栏

回顾GoogLeNet:链接

回顾InceptionV3:链接

1.1 简介

InceptionV4和InceptionResNet是深度学习领域中用于图像分类任务的先进神经网络架构，它们是Google研究人员在Inception系列模型基础上的进一步发展。这些模型在ImageNet等大规模图像识别挑战赛中展现出了极高的性能，并且在业界和学术界得到了广泛应用。下面是对这两个模型的详细介绍：

InceptionV4

InceptionV4是Inception系列的第四代模型，由Christian Szegedy等人在2016年提出。它是在InceptionV3基础上改进而来，目标是提高模型的准确率同时保持计算效率。InceptionV4的主要改进包括：

模块优化：对Inception模块进行了重新设计，引入了新的卷积结构来更好地平衡计算资源和模型表现。这包括更高效的分组卷积和因子分解策略，后者可以将标准卷积分解为两个较小的卷积，从而减少计算成本。
轻量化设计：通过精心设计网络结构，减少模型中的冗余，使模型能够在保持高准确率的同时，减小计算负担和模型大小。
全局平均池化：在最后阶段使用全局平均池化（Global Average Pooling, GAP）替代全连接层，这有助于减少参数数量，防止过拟合，同时加速模型训练过程。

InceptionResNet

InceptionResNet是Inception系列的一个变种，它结合了Inception结构与残差学习（Residual Learning）的概念，后者首次在ResNet中被提出并取得了巨大成功。InceptionResNet主要有两个版本：InceptionResNet-v1和InceptionResNet-v2。这些模型的特点包括：

残差连接：在Inception模块内部引入残差连接，允许信息直接跳过某些复杂的变换层，这有助于缓解梯度消失问题，使得网络能够更容易地训练更深的模型。
性能提升：InceptionResNet-v2特别设计来进一步提升模型的性能。通过结合Inception结构的高效特征提取能力和残差学习的深度，该模型在ImageNet数据集上达到了当时顶尖的准确率。
层次结构：模型包含多个阶段（如Reduction blocks），每个阶段负责不同的特征学习任务，从低级特征到高级特征逐步过渡，通过这种方式，模型能够学习到更加丰富和多尺度的特征表示。

InceptionV4和InceptionResNet系列都是为了在不显著增加计算复杂度的情况下，提升图像分类的准确性而设计的。InceptionV4更注重于通过结构优化来提升效率，而InceptionResNet则通过引入残差连接，实现了深度网络的有效训练，进一步提升了模型的性能。两者都在ImageNet等基准测试中展示了超越前代模型的性能，成为了深度学习领域内图像处理的经典模型。由于它们的高效性和准确性，这些模型经常被用作图像识别、物体检测和其他计算机视觉任务的基础。

1.2 改进的Inception模块

左侧的Stem部分展开就是右侧的样子。右侧的V表示不使用padding,不加V表示使用same padding，使得输出的feature map长宽不变。

右侧既是V4的主干部分，也是inceptionResNet的主干部分

1.3 V4的性能

"Operations" 或 "Ops" 通常指的是执行的计算操作数量，比如浮点运算次数。这里的 "G-Ops" 是 "Giga Operations" 的简写，意味着每秒十亿次操作（10^9 operations）。具体来说，当提到 "G-FLOPs" 或 "GFLOPs" 时，它特指每秒十亿次浮点运算（Giga Floating Point Operations Per Second），这是评估硬件（如GPU、CPU等）在执行深度学习任务时计算能力的一个关键指标。

在设计和评估深度学习模型时，了解其计算复杂度非常重要，因为这直接影响到模型的训练速度和部署成本。G-Ops常用来衡量模型的计算需求，较大的G-Ops值表明模型需要更多的计算资源。例如，在比较不同神经网络架构时，一个架构如果在提供相似准确度的情况下具有更低的G-Ops值，通常被认为是更高效的。

此外，G-Ops也用于描述算法或模型的复杂度，帮助研究者和工程师在资源限制下做出设计选择，比如决定是否使用某个模型、如何调整模型结构以适应特定硬件的计算能力，或者评估算法优化的效果。

"Top-1 accuracy" 是指模型在预测时，其概率最高的类别与实际正确类别的匹配准确率。换句话说，如果模型对于每一个测试样本，预测概率最大的类别恰好是样本的真实类别，则这些样本被视为被正确分类。Top-1 accuracy 是评估分类模型性能的一个基本且直观的指标。

而 "density" 在此上下文中通常涉及资源利用效率或模型效率的概念，尤其是当与模型参数数量（M-params，即百万参数）结合时。因此，"Top-1 accuracy density [%M-params]" 是一个衡量单位模型参数量所贡献的Top-1准确率的指标。它用来评估模型在给定参数量下的效率，即每百万参数所能达到的Top-1准确率百分比。

这个指标特别有用，因为它帮助研究者和开发者理解模型的参数利用率。一个高精度但参数量巨大的模型可能在某些场景下并不实用，特别是对计算资源有限或需要快速推理的应用而言。因此，通过比较不同模型的 "Top-1 accuracy density"，我们可以找出那些在参数效率方面表现更优的模型，即在较少的参数量下仍能保持较高分类准确率的模型。这对于推动模型轻量化、降低存储需求和加速推理过程有着重要意义。

带残差连接的结构训练时收敛更快，但是准确率是差不多的。

“Crops”通常指的是从原始图像中截取的一块区域或多个区域。这一做法在图像分类、目标检测、图像分割等任务中尤为常见，目的是为了提高模型的泛化能力和训练效率。以下是几个关于“Crops”的关键应用场景和意义：

数据增强：通过从原始图像中随机选取不同的区域（Crops）作为输入，可以有效增加训练数据的多样性，这是一种常用的数据增强策略。这种方法可以帮助模型学习到图像中的更多细节和不变性，比如平移不变性和尺度不变性，从而提升模型的泛化性能。
多尺度训练与测试：在某些情况下，研究者会从原始图像中提取不同尺度的Crops，以此来应对目标尺寸变化的问题。例如，在训练或评估深度神经网络时，可能对每个图像取多个不同大小的Crops，这有助于模型在不同尺度上捕捉目标对象，提高检测或识别的准确性。
密集评估（Dense Evaluation）：这是一种在测试阶段使用的方法，通过在整张图像上均匀或按策略分布地提取多个Crops，然后对每个Crop单独进行预测，最后汇总结果。这种方式可以提高对小目标或部分遮挡目标的检测能力，常用于提高目标检测和图像分类的精度。
模型效率分析：在评估模型效率或进行模型对比时，可能会提到“Single Crop”和“Multiple Crops”。单个Crop（Single Crop）通常指的是只取图像中心或特定位置的一个区域进行评估，而多个Crop（Multiple Crops）则指从图像中提取多个区域进行评估，后者更能全面反映模型的性能，但也增加了计算负担。

综上所述，“Crops”在深度学习中的应用是多方面的，主要围绕着提高模型对图像中目标的识别和定位能力，以及增强模型在面对图像变化时的稳健性。