qq_45844265的博客

下图每一列都是一个模型，本文提出6个网络模型，命名为A、A-LRN、B、C、D、E。如网络A，block1中卷积核大小3，个数64，在block2中卷积核大小不变，个数翻倍128个，在block3中卷积核大小不变，个数在block的基础上又翻倍变成256个，同时卷积层数从1层变成了2层。输入彩色图像信息为224×224×3，block1有64个卷积核，对输入图像做下采样，原图的长宽从224×224缩减为原来的一半，即112×112，但是通道数由64增加一半到128，block2-6依次做类似处理。

从生成器G的角度来看，生成器G希望真实图像x和生成图像G(z)区分不开，即希望虚假数据G(z)可以尽可能骗过判别器D，也就是希望D(G(z))尽可能大，1-D(G(z)就更小，log(1-D(G(z))更小，也就是V(D,G)整体尽可能小，即对G取min V(D,G)。若D(x)是非常完美的判别器，D(x)=1，则V(D,G)=0，而若有误分类时，D(x)<1时，log(D(x))和log(1-D(G(z))都会是负值。G(z)表示生成图像，D(x)表示对真实图像的判别，D(G(x))表对生成图像的判别。

新加的那些层不要直接去学F(x)，而是应该去F(x)-x，x是原始的浅层神经网络已经学到的一些东西，新加的层不要重新去学习，而是去学习学到的东西和真实的东西之间的残差，最后整个神经网络的输等价于浅层神经网络的输出x和新加的神经网络学习残差的输出之和，将优化目标从F(x)转变成为F(x)-x.传统的方式获得更好的网络不是依靠堆叠更多的层实现的，若简单堆叠层，一个问题随之出现：网络的层数越来越深，梯度爆炸或梯度消失问题就会出现。带点的快捷连接增加了维度。（i）对于相同的输出特征图尺寸，层具有相同数量的滤波器；