前言

这篇文章实在看完很多博客之后写的，需要读者至少拥有一定的CNN知识，当然我也不知道需要读者有什么水平，所以可能对一些很入门的基本的术语进行部分的解释，也有可能很多复杂的术语因为不好解释而没有解释(主要是懒)。看的时候最好结合论文和百度(谷歌、必应随意开心就好)。

ResNet简介

ResNet全称Deep residual network，中文名深度残差神经网络。因为ResNet在ImageNet等的优秀表现和出色的论文描述，作者何凯明获得了CVPR2016最佳论文奖。

论文原文地址：https://arxiv.org/pdf/1512.03385.pdf

顾名思义，ResNet的精髓在与深度和残差。深度是指模型的深度。在此之前，GoogleNet有22层，VGG有19层，AlexNet只有8层，但是ResNet有152层之多。

img

从网络层数和模型规模上来看，ResNet的规模远远大于之前的网络。ResNet取得的巨大成功从某种意义上确实源于深度。但是他在模型架构上还通过一种巧妙的方式解决了很多深度网络的问题，这就是残差学习(Residual learnning)。

ResNet的理论

深度学习的层数和训练效果存在必然的联系，从理论上来说，深度学习增加恒等映射层会获得比浅层模型更好地效果，因为从理论上浅层模型是更深层次模型解的一个子空间。但是咋实际中，我们经常会发现随着网络层数的增加，训练误差会上升，这当然不是因为过拟合(过拟合的训练误差会很低很低，相对的可能在验证集效果不好。)主要原因是因为梯度消失和梯度爆炸。这就是深度网络的退化问题。

梯度消失和梯度爆炸(这部分不喜欢可以跳过，我也是复制的)

梯度在高等数学中有了很详细的了解，我相信看这篇文章的铁汁集美也懂得什么叫反向传播，那么自然也就知道什么叫梯度消失和梯度爆炸，那我们是不是可以……(不是)。

好吧还是简单写(chao)一下吧。

反向传播：根据损失函数计算的误差通过反向传播的方式，指导深度网络参数的更新优化。

采取反向传播的原因：首先，深层网络由许多线性层和非线性层堆叠而来，每一层非线性层都可以视为是一个非线性函数$f(x)$(非线性来自于非线性激活函数，比如常用的Sigmoid、Tanh、ReLU……)，因此整个深度网络可以视为是一个复合的非线性多元函数。

我们最终的目的是希望这个非线性函数很好的完成输入到输出之间的映射，也就是找到让损失函数(Loss function)取得极小值。所以最终的问题就变成了一个寻找函数最小值的问题，在数学上，很自然的就会想到使用梯度下降来解决。

什么？你说梯度下降是什么？额滴神啊！高数中是不是讲过函数的变化率沿着梯度方向变化的最快？我们举个栗子：

求函数$f(x) = x^2$的最小值。

  • 求梯度：$$ \frac{\partial f(x)}{\partial x}=2x$$

  • 向梯度的负方向移动特定的步长$$ \Delta x$$

  • 好了又出来一个问题，对于一元函数，方向有两个：正方向和反方向，那么我们为什么往负方向走呢？这就需要泰勒公式来帮忙了。看下面的式子：

    image-20201218122310173

    左侧是当前x移动一小步之后的下一个位置，他近似等于右边(球球了，泰勒展开不想讲了，自