神经网络训练（二）:基于残差连接的图片分类网络(进阶篇③)-CSDN博客

本文链接：https://blog.csdn.net/weixin_46423500/article/details/140890884

日常·唠嗑

8月1号写完了神经网络训练（二）:基于残差连接的图片分类网络(进阶篇②)，进行了概述及理论介绍，本篇继续写第四章，对本项目做一个总结。

4、结论

在这里插入图片描述

Fig21. Performance of our network

通过使用ResNet18并根据我们的数据集改进ResNet18，在只训练10分钟的情况下我们的性能达到88.2%。通过对CIFAR数据集进行改进ResNet18模型的训练，我们观察到训练损失逐渐降低并趋近于稳定的趋势。这表明随着训练的进行，网络在学习过程中逐渐减少了预测错误的程度，对训练数据的拟合效果逐渐提高。初始阶段，由于网络参数的随机初始化，训练损失可能较高，但随着训练的进行，网络通过反向传播和优化算法的调整，逐渐找到了更好的权值参数，从而降低了训练损失。同时，我们也观察到测试精度逐渐提高并趋近于稳定的趋势。这意味着经过一定的训练迭代后，改进ResNet18模型在未见过的测试数据上的性能逐步增强。初始阶段，由于网络的不完全学习和泛化能力不足，测试精度可能较低。然而，随着模型在训练集上的训练和调整，它逐渐学习到了更有效的特征表示和更准确的分类决策边界，从而提高了在测试集上的性能表现。

综上所述，在模型的训练过程中，训练损失逐渐降低趋近平稳，而测试精度逐渐提高趋近平稳。这表明该模型在经过一定的训练迭代后，能够有效地学习到数据的特征并具备较好的泛化能力，从而实现了对CIFAR数据集的良好分类性能。

在更复杂的分类任务中ResNet具备独特的优势，随着神经网络层数的增加，深层网络很容易出现梯度消失或梯度爆炸的问题。ResNet通过引入残差连接（即跨层直接连接）的方式，使得网络可以学习残差，从而更容易地训练非常深的网络。由于残差连接的存在，ResNet使得网络中的信息可以更加容易地传播，有助于加速模型的收敛速度，特别是在训练非常深的网络时更为明显。ResNet的残差块结构可以看作是一种正则化机制，有助于减少模型的过拟合，提高模型的泛化能力。ResNet中的残差块结构相对简单且通用，可以很容易地应用到其他视觉任务中，并且可以通过修改网络深度来适应不同的需求。

5、参考文献

[1]He, K., Zhang, X., Ren, S., & Sun, J. (2016). Deep Residual Learning for Image Recognition. 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). Presented at the 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), Las Vegas, NV, USA. https://doi.org/10.1109/cvpr.2016.90
[2]Deng, J., Dong, W., Socher, R., Li, L.-J., Kai Li, & Li Fei-Fei. (2009). ImageNet: A large-scale hierarchical image database. 2009 IEEE Conference on Computer Vision and Pattern Recognition. Presented at the 2009 IEEE Computer Society Conference on Computer Vision and Pattern Recognition Workshops (CVPR Workshops), Miami, FL. https://doi.org/10.1109/cvpr.2009.5206848
[3]He, K., Zhang, X., Ren, S., & Sun, J. (2016). Deep Residual Learning for Image Recognition. 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). Presented at the 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), Las Vegas, NV, USA. https://doi.org/10.1109/cvpr.2016.90