吴恩达 深度学习第四课卷积神经网络 第一周卷积神经网络

最近在学习吴恩达的deep Learing，受益匪浅，便决定将学习内容记录下来，以便日后复习巩固。
1.1 computer vision 的应用是十分广泛的

1.2 边缘检测示例
垂直边缘检测器：

我们可以理解为 一幅图片*filter=另一幅图片

这里的3 * 3矩阵称为一个filiter,一个6 * 6矩阵与一个3 * 3矩阵 卷积 后得到一个4 * 4矩阵。卷积方法为将3 * 3矩阵从6 * 6矩阵的左上角开始覆盖，从左向右，从上到下运动，覆盖的两者相乘后相加，如上图所示。结果如下图所示：

怎样用编程语言实现卷积运算呢？
python：conv_forward()
tensorflow:tf.nn.conv2d()
keras:Conv2D
那为什么上面的滤波器可以实现垂直边缘检测呢？

如图所示，左边的图片的垂直边缘在右边的图片中被检测出来了，由于本例左边的像素点过少，所以右边白色的边缘线很粗，实际中不会这样。
1.3 更多边缘检测内容
边缘过渡问题：

如图，我们可以区分由亮到暗的过渡和由暗到亮的过渡。
水平边缘检测滤波器：

sobel filter:增加了中间一行元素的权重，即图像中央的权重，提高了鲁棒性
scharr filter

1.4 Padding
这是一个基本的卷积操作
普通的边缘检测有缺点：1、每检测一次输出图像都会缩小 2、图像边缘的大部分信息都被丢失了
所以，我们可以通过在原始图像的边缘再padding（填充）一到两层解决上述问题，使得检测后的图像仍是原图像的size.
据此将卷积分为两类:
valid convolution:no padding
same convolution:pad so that output size is the same as the input size

1.5 卷积步长
另一个基本的卷积操作

如图所示，将步长stride=2，所以篮框每次移动两格

在padding=p,stride=s的情况下，
n×n * f×f =((n+2p-f)/s+1) × ((n+2p-f)/s+1),若商不是整数，则向下取整
1.6 三维卷积
当不是对灰度图像，而是RGB图像进行卷积操作时

如图所示，做法相似，但要注意滤波器的通道数一定要等于图像的通道数。
当只想检测图像的R通道的边缘，那么使滤波器的G、B通道都为0即可，思路类似。
1.7 单层卷积网络

这里是用了两个滤波器，即检测了图像的两个边缘信息（可能是水平、垂直、70度角等等）。
神经网络的前向传输公式为:
z^([l])= w ^([l])· a ^([l-1]) + b^([l])
a^([l])= g(z^([l]))
其中，输出的4×4矩阵即为公式1中的a^([l-1])；最后得到的 a^([l])即为4×4×2的矩阵。

答案为280个
参数总结：

1.8 简单卷积网络示例
一个简单的卷积网络有三层：
1、卷积层（conv)
2、池化层（pool）可以缩减模型大小、提高运算速度、提高所提取特征的鲁棒性
分为max pooling 和average pooling
很少用到padding，超参为f和s
没有需要学习的参数
3、全连接层（FC）
1.10 卷积神经网络示例
目的：输入一张RGB图像，识别图像上的数字是位于0-9的哪一个数字。

如图所示，假设输入一张32×32×3的图片，分别经过conv1、pool1、conv2、pool2,参数如图，最后，将pool2平整化为一个大小为400的一维向量，然后利用这400个单元构建下一层，含有120个单元，这就是我们第一个全连接层，再添加一个具有84个单元的全连接层，最后，用这84个单元填充一个softmax单元。
注意，随着神经网络深度的加深，高度nH和宽度nW通常会逐渐减少，而信道数量会增加，然后得到一个全连接层。
神经网络中另一种常见模式是：一或多个卷积层后跟一个池化层，然后再一或多个卷积层后跟一个池化层，然后是几个全连接层，最后是softmax.

最后是激活值大小和参数数量。
1.11 为什么使用卷积
和只用全连接层相比，卷积层的两个主要优势：参数共享、稀疏连接