卷积神经网络框架四：Res网络--v1：Deep Residual Learning for Image Recognition

Deep Residual Learning for Image Recognition

简述：
当前，在众多网络模型中都存在一个共同的问题，是否层数越多系统性能越好？首先想到的问题就是爆炸问题和消失问题（vanishing/exploding gradients），从开始就阻碍了收敛，然而，标准化初始化和中间标准化层可以解决这个问题，随着深度的增加，准确度逐渐饱和，然后迅速下降（degradation problem退化问题）。本文提出的res网络很容易优化，相对的“普通”网(简单的叠加层)在深度增加时表现出更高的训练误差。同时，res网络残差神经网络在2015年ILSVRC比赛中获得冠军，且多个方面获得了第一名。

模型：
1.Residual block(残差块)：通过增加一个idenetity mapping（恒等映射），将原始所需要学的函数H(X)转换为F(X)+X,即H(x)=F(x)+x，两者所表达效果相同，但优化难度并不相同，作者假设F(x)的优化会比H(x)简单的多。这一想法也是源于图像处理中的残差向量编码，通过一个reformulation，将一个问题分解成多个尺度直接的残差问题，能够很好的起到优化训练的效果。
这个Residual block通过shortcut connection实现，通过shortcut将这个block的输入和输出进行一个element-wise的加叠，这个简单的加法并不会给网络增加额外的参数和计算量，同时却可以大大增加模型的训练速度、提高训练效果并且当模型的层数加深时，