卷积神经网络扩展 - Resnet网络简介

一.简介

1.残差神经网络是2015年由微软研究院四位华人提出的，在Imgnet上夺冠的神经网络，它是有152层深的神经网络，在2015年的ILSVRC比赛中取到了3.5%错误率。

Resnet能够达到152层的原因是引入了残差模块的概念，使用如下图的残差模块控制跳转来克服深层网络梯度消失的问题。

2.创建残差模块的思路是：对于一个神经网络，随着我们增加网络深度时，会导致梯度消散问题，梯度消散时训练集和测试集上误差都会增大，而此时我们增加几个y=x的全等映射层，更深的网络并不会引起误差的上升，而这种全等映射层就是设计残差模块的思路源泉。

二.主思想介绍

1.创建ResNet模块的理论来源是瑞典科学家提出的Highway Network,Highway Network设计的目标是解决较深网络难以训练的问题，设计方案是把原本的网络输出激活函数   改成下式，其中x是输入，C为保留系数，T为转化系数，在论文中C+T=1,通过这样的方式来调节新学习的信息比例。