5.2卷积神经网络-卷积笔记

卷积神经网络

在全连接层中我们将一张32323的图展开固有3072个输入，与权重矩阵相乘得到1个激活值，我们将有10个这样神经元输出。

卷积层与全连接层不同在于，可以保全空间结构，不是展开，我们保存图片结构，接下来权重是一些卷积核，例子中是553的大小，我们将这个卷积核在图像上滑动，计算出每个空间定位时的点积结果。
这样我们每个输入量都是553，但是它们会遍历所有通道。
然后我们采用这个卷积核，并给一定空间区域，在这个卷积核和图像块之间进行点积计算，我们要做的就是在这个图像上覆盖整个卷积，将卷积核每位置的元素与之对应的图像区域的像素值相乘，这个区域从图像上取出的得到点积结果并加入偏置量。

在这里我们需要确定像素滑动的距离，是一个像素滑动一次，还是两个输入滑动一次，按一个像素滑动话我们可以得到2828的输出，至于为什么改变后续会介绍，同时改变卷积核可以得到不同的输出，这里经过6个卷积核我们可以得到2828*6的输出如下图

卷积神经网络中我们如何使用这些卷积层
我们的卷积神经网络是由多个卷积层组成的一个序列，它们依次堆叠就像之前在神经网络中，堆叠简单线性层一样，之后我们用激活函数对其逐一处理，比如一个ReLU激活函数 ，每个激活函数都会有输出，输出又作为下个卷积层的输入

---

增加卷积层深度的意义？
在上图中针对初始层有三个卷积核，下一层有6个，处于架构设计层面的考虑，有人发现这种网络结构更加有效
、

---

前面几层卷积核一般代表一些低阶的图像特征，比方说一些边缘特征，对于中间层我们可以的得到一些更加复杂的图像特征比如边角和斑点，告诫可以得到更复杂的东西

---

一个卷积神经网络的激活输出例子。其实就是一个输入图片，让他通过许多层第一个是卷积层然后是非线性层，ReLU是一种常用的手段，接下来会用到池化层，这些措施已经大大降低激活映射的采样尺寸，进过这些卷积输出后，我们可以用我们遇到的全连接，连接所有卷积输出，并最终得到分值函数。

---

例子

上图为32323的输入，我们可以了解如何产生2828的激活输出。
我们可以假设我们实际用的是77的输入，我们有一个33的卷积核，我们把它套在左上角做乘法点积得到第一个值。

接下来将卷积核移动 ，这样就能不停得到新值

最后得到55
我们每次滑动的距离称为步幅，如果以2为步幅。

计算输出尺寸公式
在周围补充0的1目的是使输入和输出一致。