深度学习入门--卷积神经网络

这篇博文是我学习CS231n课程时做的笔记，主要时为了方便我回忆知识点做的一些公式的整理和记录。

详细版的笔记请移步知乎专栏

https://zhuanlan.zhihu.com/p/21930884?refer=intelligentunit%20%E8%BF%99%E4%B8%AA%E6%98%AFCS231n%E7%9A%84%E7%BF%BB%E8%AF%91%E7%AC%94%E8%AE%B0

结构概述

卷积神经网络针对输入全部时图像的情况，将结构调整地更加合理，获得了不小地优势。卷机神经网络各层中地神经元时3维排列地：宽度、高度和深度。

比如，CIFAR-10的图像作为卷积神经网络输入时，该数据的维度是32X32X3（宽高都是32像素，有3个颜色通道）。

卷积神经网络的层中的神经元只与前一层中的一小块区域连接，而不是采用全连接的方式。

卷积神经网络是由层组成的。每一层都有一个简单的API：用一些含有或者不含参数的可到的函数，将输入的3D数据变为3D的输出。

卷积神经网络的构成

• 卷积层
• 汇聚层
• 全连接层

网络结构的例子：这仅仅是个概述，下面会更详细地介绍：
假设网络结构为【输入层->卷积层->ReLU层->-汇聚层->全连接层】

• 输入大小[32X32X3]
• 卷积层中，神经元于输入层中地一个局部区域连接，每个神经元都计算自己于输入层相连的小区域与自己权重的内积。卷积层会计算所有神经元的输出。如果我峨嵋你使用12个滤波器（也叫做核），得到的输出数据体的维度就是[32X32X12]
• ReLU层将会逐个元素地进行激活函数操作，比如使用以0为阈值的作为激活函数。该层对数据尺寸没有改变，还是[32X32X12]
• 汇聚层再空间维度（宽度和高度）上进行下采样（downsampling）操作，数据尺寸变为[16X16X12]
• 全连接层将会计算分类评分，数据尺寸变为[1X1X10]，其中10个数字对应的就是CIFAR10中10个类别的分类评分值。全连接层和正常的神经网络一样。

卷积层

卷积层的参数是由一些科学系的滤波器组成的，这些滤波器的宽高很小，但是深度和输入数据一致。再前向传播的时候，让每个滤波器都在图像上滑动，然后计算整个滤波器和输入数据任一处的内积。当滤波器沿着数据的宽高滑动过后，会生成一个2维的激活图。

局部连接

在处理图像这样的高维输入时，让每个神经元都与前一层的所有神经元连接是不现实的。相反，我们让每个神经元只与输入数据的一个局部区域连接。该连接的空间大小叫做神经元感受野（receptive field）。

空间排列

讨论数据体中神经元的数量以及它们的排列方式

1.我们将沿着深度方向排列、感受野相同的神经元集合称为深度列。

2.有时候将输入数据用0再边缘处进行填充是很方便的。

参数共享

在卷积层使用参数共享是用来控制参数的数量。

基于假设：如果一个特征在计算空间位置(x,y)的时候有用，那么它在计算另一个不同位置(x2,y2)的时候也有用，基于这个假设，可以显著地减少参数数量。换言之，就是将深度维度上一个单独的2维切片看作深度切片。

注意，如果在一个深度切片中所有权重都使用同一个权重向量，那么卷积层的前向传播在每个深度切片中可以看作是在计算机神经元权重和输入数据体的卷积。

汇聚层

作用：逐渐降低数据体的空间尺寸，这样就能减少网络中参数的数量，使得计算资源耗费变少，也能有效控制过拟合。

普通汇聚

除了最大汇聚，汇聚单元还可以使用其他的函数，比如平均汇聚或L-2范式汇聚。平均汇聚历史上比较常用，但是现在已经很少用了。实践证明，最大汇聚的效果比平均汇聚要好。

反向传播：回顾一下反向传播的内容，其中max（x,y）函数的反向传播可以简单理解为梯度只沿最大的数回传。因此，在向前传播经过汇聚层的时候，通常会把池中最大元素的索引记录下来。

归一化层

全连接层

在全连接层中，神经元对于前一层中的所有激活数据是全部连接的，这个常规神经网络中一样。

卷积神经网络的结构

卷积神经网络通常由三种层构成：卷积层，汇聚层，全连接层。

层的尺寸设置规律

输入层 （包含图像的）应该能被2整除多次，常用数字包括32.

卷积层 应该使用小尺寸滤波器，比如3X3 。使用步长1 。

汇聚层 负责对输入数据的空间维度进行降采样。通常设置2X2的感受野。