吴恩达《深度学习工程师》Part4.Week1 卷积神经网络

1.1 计算机视觉
本节介绍了深度学习在另一个重要领域的应用：计算机视觉(Computer Vision)。

列举了三个典型的使用案例：图像分类、目标识别以及图片的风格转换。

由于全连接神经网络在直接处理图片样本时，输入空间的纬度太大，会造成模型参数数量太大，很难获得足够的样本数据来防止模型过拟合，另外，巨大的模型也会过度占用内存，成本过高。

最后，引出了卷积神经网络的概念，这种包含卷积处理的神经网络很适用于处理图片数据。

1.2 边缘检测示例
本节以图片的边缘检测为例，介绍了卷积运算的具体实现步骤。
下图为实现垂直边缘检测的卷积运算：

图1 垂直边缘检测的卷积运算过程

最左边数组为待检测图片的灰度值，中间数组为实现垂直边缘检测的滤波器(filter)或者叫核(kernel)，最右边的数组为完成卷积运算后的结果。

1.3 更多边缘检测内容
将卷积核中的数值进行变换后可以实现不同的检测目标，例如将1.2节中的卷积核旋转90°就可以实现水平边缘检测，当数值改变后还可以变成Sobel滤波器，Scharr滤波器等。

图2 不同类型的卷积核

在深度学习中，不一定需要直接使用别人已经构造好的滤波器，而是可以转换思路，将卷积核中的参数视为参数变量$W$，通过反向传播算法，对这些参数变量$W$进行学习，并最终获得一组性能有益的边缘检测卷积核，不仅能够实现简单的水平和垂直边缘检测，还可以检测任意角度的边缘。

1.4 Padding
如图2所示，再经历一次卷积运算后，图片的尺寸会减小(6×6变为4×4)，因此在卷积运算前可以对原始图片进行填充(padding)操作。Padding是指在原始图片周围填充一圈或几圈数字，一般填充的值可以为0。

进行Padding的好处是：
1.防止图片尺寸的减小 2.防止图片周边信息的丢失。

根据是否进行Padding操作，可以将卷积运算分为Valid卷积和Same卷积。

图3 两种不同类型的卷积运算

其中，Valid卷积是指，不对图片进行Padding操作。设图片原始尺寸为$n×n$，卷积核尺寸为$f×f$，那么一次卷积运算后，图片的尺寸就变为$(n-f+1)×(n-f+1)$。

Same卷积是指，对图片进行Padding操作，保持图片尺寸不变。设图片原始尺寸为$n×n$，卷积核尺寸为$f×f$，Padding的像素值（圈数）为$p$，那么有以下等式成立：

$$n+2p-f+1=n$$
从而得到：

$$p=\frac{f-1}{2}$$
常见的卷积核长度大多为奇数，有两个好处：1. 使得Padding值为整数 2.方便确定卷积核的中心，利于确定卷积核的位置。

1.5 卷积步长
前面的卷积操作中，卷积核在滑动时每次移动一个单位，也就是步长（stride）为1。如果步长为s时，卷积运算后图片尺寸可由下式计算：

$$\lfloor \frac{n+2p-f}{s}+1\rfloor$$
其中 $\lfloor \rfloor$ 为向下取整运算符，在卷积核到达边缘后，如果剩余尺寸小于卷积核尺寸，该部分将被舍去。

在机器学习文献中的卷积操作和数学及信号处理中的操作有所不同，在数学及信号处理中的卷积运算前，卷积核先要进行水平和垂直方向的两次镜像操作，然后进行卷积运算。而在机器学习中，卷积核直接进行计算，这样并不影响计算结果，且省去了两次镜像的操作。

1.6 卷积中“卷”的体现
前面讲的卷积操作都是针对灰度图像的，对于RGB彩色图像，由于它是由R、G、B三个通道构成的，卷积操作将会变为一种立体（3D）的操作，卷积核的通道数应该与图片的通道数相同。如下图所示，当两个不同的卷积核分别进行垂直边缘和水平边缘的检测，

图4 多通道卷积操作

每个卷积核的尺寸为3×3×3，对图片进行卷积操作后将这27个数值相加，得到最后的结果，并将这两个数组堆叠起来，形成4×4×2的三维矩阵。

1.7 单层卷积网络
本节介绍了一个单层卷积网络的计算流程，以下图为例：

图5 单层卷积网络的一个例子

输入图片数据为