深度学习轻松学（四）

指路：深度学习轻松学（一）.
指路：深度学习轻松学（二）.
指路：深度学习轻松学（三）.
此系列的参考书籍为：《深度学习轻松学–核心算法与视觉实践》冯超·著

网络结构-经典网络

关于网络结构，我们关心什么

模型的总深度、模型的参数总量、模型前向计算所需要的内存量。
分析从AlexNet、VGGNet、GoogLeNet到ResNet的网络，可以得出的结论是：CNN网络结构发展的趋势是：从“shallow and wide”转变到到“deep but thin”的模型，模型的复杂程度不断增加，模型的拟合能力不断增强，但是模型的参数总量控制的很好并不随之增长。

网络结构的演化

VGG：模型哲学

VGG的特点： 卷积核变小，从7×7的卷积核到3个3×3的卷积核，看上去效果相近参数却减少了，减少每一层的参数对优化是有很大的意义的；非线性层的增加，虽然不会增加模型的参数数量，但是会增加模型的复杂度，这样模型的表现力反而有了提高。
此外，在“VGG哲学”中，卷积层的操作不应该改变输入数据的维度，这里的维度主要指feature map的长和宽，对于3×3的卷积核，VGG会使padding=1，stride=1，这样经过卷积之后长宽没有变化。除此之外，每一次pooling操作之后，feature map的长宽各缩小一倍，channel层的数量会增加一倍，这样的设计对于不同维度的feature map来说适配都比较容易。此外，模型也提到了1×1的卷积核，这种卷积核不会改变feature map的长和宽，只会在channel层做聚合，这样又可以进步一增加模型的非线性层，增加模型复杂性的同时减少后续模型层的参数数量。

GoogLeNet：丰富模型层的内部结构

GoogLeNet模型的一大亮点是它的inception module。对于某一特定尺度的数据，模型一般只采用一个特定尺度的卷积核进行处理，而小卷积核通常更好的捕捉一些细节特征，随着深度网络不断运算，总体特征也会慢慢提炼出来，但是这两种特征都是交替出现，并不同时出现，但是有的时候两种特征都要发挥作用才有效，采用单一维度的卷积核解决不了这个问题，因此把模型加厚，在每一次尺度的feature map上都尽可能多的做不同尺度的分析，这样的特征应该更有价值。inception module一种结构形式如下：

ResNet：从乘法模型到加法模型

DSN（deeply-supervised nets）解决梯度消失问题： 在每一个卷积层、全连接层过后，模型都会为他们接一个旁路的全连接层，并用输出的结果与数据的真是结果做比较，计算预测结果和真是结果的误差，也就是说增加了几层网络的旁支监督。这样的结构很好的解决了两个问题：从后一层网络传来的梯度不好的话，模型可以通过这一旁路的目标函数来弥补梯度的不足；其次，每一层都要完成自己的任务，因此每一层模型都具有更好的独立性。此外，DSN提出了“合作能力为主，独立能力为辅”的观点，它将模型的旁路目标函数降权，且为模型的每一个旁路目标函数都设置了一个阈值来降低独立能力在任务中的比重。
resnet简介： MSRA何凯明团队在2015年ImageNet上使用的网络，在当年的classification、detection、localization比赛中，ResNet均获了第一名的好成绩。为了解决模型退化（在一定深度下，深层网络的训练误差大于浅层网络的训练误差）的问题，这说明深层网络在学习恒等映射的时候出了问题，也就是传统的网络（“plain” networks）很难去学习恒等映射。
resnet网络的核心： shortcut是resnet的核心，这个结构使得网络的特征信息可以不经任何计算直接传递到下一层。因为shortcut的引入，整个block的输出变成了F(x)+x，block的输入还是x。此时网络需要调整其内部参数使得F(x)+x=x，也就是直接令其内部的所有参数为0，使得F(x)=0，F(x)+x=x就变成了0+x = x，等号左边是block的输出，右边是block的输入。输出等于输入，即完美地完成了恒等映射。

resnet的结果： 模型结构似乎是无界的，模型的深度可以达到上千层也不会出现训练上的问题，然而从模型的实际表现来看，更深的模型不会带来等量的精度的提升，即使深度增加了几倍，所带来的的精度的提升也十分有限，这个现象的解释是：更深的网络可能只学到了identity mapping，而不是真正的进一步的特征变换。
Densenet： 与resnet最大的区别就是shortcut的数量，在这个模型中，每个block包含N组卷积运算，组内的卷积层结果按照顺序排列，每一个排在前面的卷积层的输出都会有一条直接连到它后面的卷积层的输入的路径。且shortcut的连接方式是拼接，不是相加。另外由于增加了很多短路连接，网络变得稠密复杂，每一个网络层获得梯度的方式也变得很多，这样的好处就是它的参数比同类模型少，效果还更好。这说明模型层之间相互连接对模型学习是有好处的。

全连接层的缺点：参数数量多；打破原本图像的维度，不能保持原始图像的空间位置。