Ng深度学习笔记——卷积神经网络基础

计算机视觉（Computer vision）

一般计算机视觉的问题：

• 图片分类Image Classification

• 目标识别Object detection

• 图片风格迁移Neural Style Transfer

使用传统神经网络处理机器视觉的一个主要问题是输入层维度很大。例如一张64x64x3的图片，神经网络输入层的维度为12288。如果图片尺寸较大，例如一张1000x1000x3的图片，神经网络输入层的维度将达到3百万，使得网络权重W非常庞大。这样会造成两个后果，一是神经网络结构复杂，数据量相对不够，容易出现过拟合；二是所需内存、计算量较大。解决这一问题的方法就是使用卷积神经网络（CNN）。

边缘检测示例（Edge detection example）

使用边缘检测作为入门样例，如何在一张图片中进行边缘检测。

给了这样一张图片，让电脑去搞清楚照片里有什么物体，你可能做的第一件事是检测图片中的垂直边缘。比如说，在这张图片中的栏杆就对应垂直线，与此同时，这些行人的轮廓线某种程度上也是垂线，这些线是垂直边缘检测器的输出。同样，你可能也想检测水平边缘，比如说这些栏杆就是很明显的水平线，它们也能被检测到。

所以如何在图像中检测这些边缘？

看一个例子，这是一个6×6的灰度图像, 它是6×6×1的矩阵，而不是6×6×3的，因为没有RGB三通道。为了检测图像中的垂直边缘，你可以构造一个3×3矩阵。在卷积神经网络的术语中，它被称为过滤器。我要构造一个3×3的过滤器，像这样$\left[\begin{array}{ccc}1& 0& -1\\ 1& 0& -1\\ 1& 0& -1\end{array}\right]$。在论文它有时候会被称为核。对这个6×6的图像进行卷积运算，卷积运算用*来表示，用3×3的过滤器对其进行卷积。

关于符号表示: 有一些问题，在数学中“$\ast$”就是卷积的标准标志，但是在Python中，这个标识常常被用来表示乘法或者元素乘法。所以这个“$\ast$”有多层含义，它是一个重载符号。

这个卷积运算的输出将会是一个4×4的矩阵，你可以将它看成一个4×4的图像。下面来说明是如何计算得到这个4×4矩阵的。为了计算第一个元素，在4×4左上角的那个元素，使用3×3的过滤器，将其覆盖在输入图像，如下图所示。然后进行元素乘法（element-wise products）运算，所以$\left[\begin{array}{ccc}3\times 1& 0\times 0& 1\times \left(1\right)\\ 1\times 1& 5\times 0& 8\times \left(-1\right)\\ 2\times 1& 7\times 0& 2\times \left(-1\right)\end{array}\right]=\left[\begin{array}{ccc}3& 0& -1\\ 1& 0& -8\\ 2& 0& -2\end{array}\right]$，然后将该矩阵每个元素相加得到最左上角的元素，即$3+1+2+0+0+0+(-1)+(-8)+(-2)=-5$。

接下来，为了弄明白第二个元素是什么，你要把蓝色的方块，向右移动一步：

继续做同样的元素乘法，然后加起来，所以是 $0×1+5×1+7×1+1×0+8×0+2×0+2×(-1)+ 9×(-1)+5×(-1)=-4 $。

因此6×6矩阵和3×3矩阵进行卷积运算得到4×4矩阵。这些图片和过滤器是不同维度的矩阵，但左边矩阵容易被理解为一张图片，中间的这个被理解为过滤器，右边的图片我们可以理解为另一张图片。这个就是垂直边缘检测器，下一页中你就会明白。

在往下讲之前，多说一句，如果你要使用编程语言实现这个运算，不同的编程语言有不同的函数，而不是用“$\ast$”来表示卷积。所以在编程练习中，你会使用一个叫conv_forward的函数。如果在tensorflow下，这个函数叫tf.conv2d。在其他深度学习框架中，在后面的课程中，你将会看到Keras这个框架，在这个框架下用Conv2D实现卷积运算。所有的编程框架都有一些函数来实现卷积运算。

为什么这个可以做垂直边缘检测呢？来看另外一个例子。
这是一个简单的6×6图像，左边的一半是10，右边一般是0。如果你把它当成一个图片，左边那部分看起来是白色的，像素值10是比较亮的像素值，右边像素值比较暗，使用灰色来表示0。图片里，有一个特别明显的垂直边缘在图像中间，这条垂直线是从黑到白的过渡线.

所以，当用一个3×3过滤器进行卷积运算的时候，这个3×3的过滤器可视化为在左边有明亮的像素，然后有一个过渡，0在中间，然后右边是深色的。卷积运算后，你得到的是右边的矩阵。$10\times 1+10\times 1+10\times 1+10\times 0+10\times 0+10\times 0+10\times (-1)+10\times (-1)+10\times (-1)=0$

相反这个30是由这个

$10\times 1+10\times 1+10\times 1+10\times 0+10\times 0+10\times 0+0\times (-1)+0\times (-1)+0\times (-1)=30$。

在这个例子中，在输出图像中间的亮处，表示在图像中间有一个特别明显的垂直边缘。从垂直边缘检测中可以得到的启发是，因为我们使用3×3的过滤器，所以垂直边缘是一个3×3的区域，左边是明亮的像素，中间的并不需要考虑，右边是深色像素。在这个6×6图像的中间部分，明亮的像素在左边，深色的像素在右边，就被视为一个垂直边缘，卷积运算提供了一个方便的方法来发现图像中的垂直边缘。

这张6×6的图片，左边较亮，而右边较暗，将它与垂直边缘检测滤波器进行卷积，检测结果就显示在了右边这幅图的中间部分。

现在这幅图有什么变化呢？它的颜色被翻转了，变成了左边比较暗，而右边比较亮。现在亮度为10的点跑到了右边，为0的点则跑到了左边。如果你用它与相同的过滤器进行卷积，最后得到的图中间会是-30，而不是30。如果你将矩阵转换为图片，就会是该矩阵下面图片的样子。现在中间的过渡部分被翻转了，之前的30翻转成了-30，表明是由暗向亮过渡，而不是由亮向暗过渡。

如果你不在乎这两者的区别，你可以取出矩阵的绝对值。但这个特定的过滤器确实可以为我们区分这两种明暗变化的区别。

再来看看更多的边缘检测的例子，右边这个过滤器，它能让你检测出水平的边缘。

我们现在所使用的都是相对很小的图片，仅有6×6。但假如这个一个非常大的1000×1000的类似这样棋盘风格的大图，就不会出现这些亮度为10的过渡带了，因为图片尺寸很大，这些中间值就会变得非常小。

总而言之，通过使用不同的过滤器，可以找出垂直的或是水平的边缘。

除了上面提到的这种简单的Vertical、Horizontal滤波器之外，还有其它常用的filters，例如Sobel filter和Scharr filter。这两种滤波器的特点是增加图片中心区域的权重。

在深度学习中，如果我们想检测图片的各种边缘特征，而不仅限于垂直边缘和水平边缘，那么filter的数值一般需要通过模型训练得到，类似于标准神经网络中的权重W一样由梯度下降算法反复迭代求得。CNN的主要目的就是计算出这些filter的数值。确定得到了这些filter后，CNN浅层网络也就实现了对图片所有边缘特征的检测。

Padding

我们在之前视频中看到，如果你用一个3×3的过滤器卷积一个6×6的图像，你最后会得到一个4×4的输出，也就是一个4×4矩阵。这背后的数学解释是，如果我们有一个$n\times n$的图像，用$f\times f$的过滤器做卷积，那么输出的维度就是$(n-f+1)\times (n-f+1)$。

这样的话会有两个缺点:

• 每次做卷积操作，图像就会缩小。

• 丢掉了图像边缘位置的许多信息。

为了解决这些问题，可以在卷积操作之前填充这幅图像。在这个案例中，你可以沿着图像边缘再填充一层像素。6×6的图像就被你填充成了一个8×8的图像。如果你用3×3的图像对这个8×8的图像卷积，你得到的输出就是6×6的图像，一个尺寸和原始图像6×6的图像。

习惯上用0去填充，如果$p$是填充的数量（在这个案例中，$p=1$），因为我们在周围都填充了一个像素点，输出也就变成了$(n+2p-f+1)\times (n+2p-f+1)$，所以就变成了$(6+2\times 1-3+1)\times (6+2\times 1-3+1)=6\times 6$，和输入的图像一样大。这个涂绿的像素点（左边矩阵）影响了输出中的这些格子（右边矩阵）。这样一来，丢失信息或者更准确来说角落或图像边缘的信息发挥的作用较小的这一缺点就被削弱了。

如果你想的话，也可以填充两个像素点，也就是说在这里填充一层。实际上你还可以填充更多像素。我这里画的这种情况，填充后$p=2$。

选择填充多少像素：通常有两个选择，分别叫做Valid卷积和Same卷积。

Valid卷积意味着不填充。

Same卷积：那意味你填充后，输出大小和输入大小是一样的。

习惯上，计算机视觉中，$f$通常是奇数，有两个原因。

• 其中一个可能是，如果$f$是一个偶数，那么你只能使用一些不对称填充。只有$f$是奇数的情况下，Same卷积才会有自然的填充，我们可以以同样的数量填充四周，而不是左边填充多一点，右边填充少一点，这样不对称的填充。

• 第二个原因是当你有一个奇数维过滤器，比如3×3或者5×5的，它就有一个中心点。有时在计算机视觉里，如果有一个中心像素点会更方便，便于指出过滤器的位置。

卷积步长（Strided convolutions）

如果你想用3×3的过滤器卷积这个7×7的图像，把步幅设置成了2，最后结果为91。

之前我们移动蓝框的步长是1，现在移动的步长是2，我们让过滤器跳过2个步长，注意一下左上角，这个点移动到其后两格的点，跳过了一个位置。然后你还是将每个元素相乘并求和，你将会得到的结果是100。

现在我们继续，将蓝色框移动两个步长，你将会得到83的结果。当你移动到下一行的时候，你也是使用步长2而不是步长1，所以我们将蓝色框移动到这里：

所以在这个例子中，我们用3×3的矩阵卷积一个7×7的矩阵，得到一个3×3的输出。输入和输出的维度是由下面的公式决定的：

用一个$f\times f$的过滤器卷积一个$n\times n$的图像，padding为$p$，步幅为$s$，在这个例子中$s=2$，得到一个输出 n + 2 p −