一)简介
ILSVRC 2015分类任务的头名,便由ResNet摘得。经过这些年的发展,ResNet已经是当前应用最为广泛的CNN特征提取网络。
二)ResNet模型介绍
之前的网络模型都表明,深度对提高性能有着显著作用。但在实际训练中,过高的深度往往伴随着地梯度消失或梯度爆炸,而且过深的网络还会导致准确率下降。因此,简单的网络层数堆叠,并不能得到大家预期的结果。
2.1)Highway Network
引自: https://blog.csdn.net/u011974639/article/details/76737547
在ResNet之前,瑞士教授Schmidhuber提出了Highway Network,原理和ResNet很像,Schmidhuber教授有着一个更出名的发明–LSTM网络。
- Highway Network解决的问题?
通常认为神经网络的深度对其性能非常重要,而在增加网络深度的同时随之而来的是网络训练难度增大,Highway Network的目标就是解决极深的神经网络难以训练的问题。 - Highway Network的原理?
Highway Network相当于修改了每一层激活函数,此前的激活函数是对输入信号做了非线