目标分类网络的介绍及应用（五）--ResNet网络介绍

最新推荐文章于 2024-07-26 20:02:18 发布

落难的青蛙

最新推荐文章于 2024-07-26 20:02:18 发布

阅读量3.9k

点赞数

分类专栏：教程人工智能深度学习

本文链接：https://blog.csdn.net/LIT_Elric/article/details/93468115

版权

本文介绍了ResNet网络，2015年ILSCRC大赛冠军作品，由微软亚洲研究院提出。ResNet通过残差结构解决了深度网络性能下降的问题，加速了训练速度。网络深度对性能的影响、ResNet结构、实验效果和实现代码均有详细阐述。

摘要由CSDN通过智能技术生成

2.4 ResNet网络

ResNet原文在这里。2015年，微软亚洲研究院提出ResNet网络，以3.75%的top-5的错误率获得当时的ILSCRC大赛冠军。（值得一提的是ResNet的提出者何凯明大神是清华毕业的，2003年广东省理科状元，绝对的是中国人在AI圈的骄傲。有兴趣的朋友可以去了解下微软亚洲研究院的历史，一个几乎撑起了21世纪中国半个互联网圈的机构。）ResNet进一步分析了网络深度对性能的影响，并以其独特的残差结构（Residual Unit）大大地加深了网络的深度，以152层的网络深度傲视群雄。此外，是用残差网络结构还能够加速网络的训练速度，使网络更快收敛。

2.4.1 网络深度对性能的影响

自从2012年AlexNet被提出以来，网络结构的深度就在不断加深，从AlexNet最初的7层到VGG的19层再到GoogLeNet的22层，但是作者在论文中提出是不是通过简单的堆叠网络层就可以提高网络的性能呢？通过大量实验发现显然不是如此，以前我们认为随着网络层深度的增加，参数量就越大，这样造成的问题是容易过拟合。作者在CIFAR-10数据集上对比了20层和56层的常规卷积网络结构上训练集和测试集错误率，发现56层的网络在训练集及测试集上的性能均不如20层的网络，收敛速度更慢了。这就说明了堆叠网络层深度是网络参数变差的原因不全是过拟合，因为过拟合不会导致训练集的错误率升高。