CS231n Lecture9

最新推荐文章于 2021-04-17 15:07:10 发布

夜夜0810

最新推荐文章于 2021-04-17 15:07:10 发布

阅读量297

点赞数 2

本文链接：https://blog.csdn.net/qq_33669204/article/details/84765732

版权

CNN Architecture

AlexNet
VGG
GooLeNet
ResNet
other architectures

AlexNet

在这里插入图片描述
首次使用了ReLU激活函数，使用Norm层，进行了数据增强，dropout层的概率为0.5，batch size的大小选择128，SGD momentum的值选0.9，learning rate为1e-2，当准确度不再提升时下降10倍，L2参数选择为5e-4。
值得注意的是结构中使用了两个并列运行的卷积结构，这是由当时的算力决定的，由于当时GPU的存储无法存储一个完整的网络才将网络分为两个。

VGG

在这里插入图片描述
将卷积层的大小限定为33， stride=1，pad=1的尺寸，使用22的Max pooling， stride=2。
使用小卷积核的原因是：小卷积核有更小的参数量，因此可以有更多的卷积核，尝试更深的网络，因此效果更好。
对于33卷积而言，三层33的卷积与7*7卷积effective respective filed（对应输入图片的大小）相同，但网络更深，有更多的线性组合和更少的参数量，效果更好。
对于存储和参数分布：存储量主要集中在前几层卷积的计算，参数则主要集中在最后的全连接层。
经试验验证，倒数第二个全连接层的输出具有很好的泛化性能，可以用其作为迁移学习的模版。

GooLeNet

在这里插入图片描述
googlenet共有22层，且没有使用全连接层，大幅度减少了参数的数量，只有5 million的参数，对比AlexNet减少了12倍的参数。
Googlenet中提出了Inception结构

首先该结构实现了在一层中使用多种卷积核，让神经网络自己选择需要使用的卷积核尺寸，同时使用1*1卷积核来降低channel的个数（bottleneck），降低计算复杂度。
使用辅助分类结果来将底层的特征映射出来，最终根据需要取平均或者最大值等得到最终结果。

ResNet

在这里插入图片描述
该网络中一共使用了152层结构，使得深层网络的实现成为可能。
在残差网络提出之前深层网络无论在训练集还是在测试集上的表现性能都不一定比相对浅层网络的好，可能原因是因为神经网络本身是一个优化问题，深层网络难以进行优化。
在这里插入图片描述
残差网络的原理是通过残差调节原来的输入来得到输出，而不是直接将输入扔进神经网络中训练。
F(x) 就是残差，我们想通过训练得到一个F(x)来修正输入X。
对于输入和输出大小不同的位置，论文给出了两种方法：