CS231n 学习笔记（十六）

时间：2019/4/10
内容：CNN框架

AlexNet

first layer: CONV1

有96个卷积核，因此输出的深度是96，输出体积为[555596]

每一个卷积核都会处理一个11113的数据块，因为输入数据的深度是3（RGB三通道）。因此总参数是11113*96

second layer:POOL1


池化层没有参数。参数即为我们需要训练的参数，卷积层有我们需要训练的权重，但对于池化层，我们只是观察池化区域并取最大值，并没有参数训练

VGGNet

思想：非常深的网络，包含非常小的卷积核。使用小的卷积核可以得到较小的参数参数量，可以让我们尝试更深层的网络和更多的卷积核

当想要加深网络时，通常需要下采样得到更小的总空间占位

GoogleNet

通过零填充来使得经过不同的滤波器后总是获得2828的尺寸（使得输出尺寸和输入尺寸保持一致），然后通过卷积核级联来增加深度


在卷积运算之前降低维度（用11卷积层来减小深度）

辅助分类分支只是使用交叉熵损失函数（SoftMax函数）中一个平均池中的小网络。事实上，ImageNet trainning classification loss用在了三个地方：完整结构的末端，还有两个辅助类分支

所有层的权重都是分离的

ResNet(残差网络)（是目前最好的深度网络）

plain convolutional neural network不带残差功能的卷积神经网络

并不是网络越深越好


想法不仅仅是叠加层，而是每层都尝试学习一些所需函数的底层映射。利用这些block尝试拟合残差映射而不是直接映射

F(x)是残差








穿过太多层梯度可能消失；随即抛弃法

其他网络