卷积【1】CNN前置知识

CNN 卷积神经网络

图像-->影藏表示

首先，多层感知机的输入是二维图像X，其隐藏表示H在数学上是一个矩阵，在代码中表示为二维张量。 其中H和X具有相同的形状。 为了方便理解，我们可以认为，无论是输入还是隐藏表示都拥有空间结构。

平移不变性

原来的权重矩阵

改进之后：

V参数不再依赖ij

这就是卷积（convolution）

因为V不再依赖于图像中的位置[i,j]，参数少了很多！

局部性

对求和区间加以限制，使得参数只依赖局部的值。

V被称为卷积核（convolution kernel）或者滤波器（filter），亦或简单地称之为该卷积层的权重，通常该权重是可学习的参数。 

当这种偏置与现实相符时，我们就能得到样本有效的模型，并且这些模型能很好地泛化到未知数据中。但如果这偏置与现实不符时，比如当图像不满足平移不变时，我们的模型可能难以拟合我们的训练数据。

卷积

积分定义

一维 级数定义

二维 级数定义

这里，fg都是双变量函数 

互相关运算

这个图生动诠释了这个式子!互相关就是有限加法的卷积

更详细的

值得注意的是，由于卷积核是从数据中学习到的，因此无论这些层执行严格的卷积运算还是互相关运算，卷积层的输出都不会受到影响。 为了说明这一点，假设卷积层执行互相关运算并学习 图6.2.1中的卷积核，该卷积核在这里由矩阵K表示。 假设其他条件不变，当这个层执行严格的卷积时，学习的卷积核K′在水平和垂直翻转之后将与K相同。 也就是说，当卷积层对 图6.2.1中的输入和K′执行严格卷积运算时，将得到与互相关运算 图6.2.1中相同的输出。

输出大小：长宽分别等于各自的平移次数

 卷积层——干互相关运算的事情：

卷积层对输入和卷积核权重进行互相关运算，并在添加标量偏置之后产生输出。

例：

我们构造一个高度为1、宽度为2的卷积核K=【1,-1】。当进行互相关运算时，如果水平相邻的两元素相同，则输出为零，否则输出为非零。

输出Y中的1代表从白色到黑色的边缘，-1代表从黑色到白色的边缘，其他情况的输出为0。

学习卷积核

我们先构造一个卷积层，并将其卷积核初始化为随机张量。接下来，在每次迭代中，我们比较Y与卷积层输出的平方误差（原来的输出-用这个卷积核输出）**2，然后计算梯度来更新卷积核。

书上用的梯度下降

特征映射——卷积核

感受野——能影响结果的元素

感受野可能大于输入的实际大小。让我们用 图6.2.1为例来解释感受野： 给定
2x2卷积核，阴影输出元素值19的感受野是输入阴影部分的四个元素。 假设之前输出为
Y，其大小为2X2
，现在我们在其后附加一个卷积层，该卷积层以
Y
为输入，输出单个元素
Z
。 在这种情况下，
Z
上的
那1个元素
的感受野包括
Y
的所有四个元素，而输入的感受野包括最初所有九个输入元素。 因此，当一个特征图中的任意元素需要检测更广区域的输入特征时，我们可以构建一个更深的网络。

图示：

填充

卷积神经网络中卷积核的高度和宽度通常为奇数，例如1、3、5或7。 选择奇数的好处是，保持空间维度的同时，我们可以在顶部和底部填充相同数量的行，在左侧和右侧填充相同数量的列。

此外，使用奇数的核大小和填充大小也提供了书写上的便利。对于任何二维张量X，当满足： 1. 卷积核的大小是奇数； 2. 所有边的填充行数和列数相同； 3. 输出与输入具有相同高度和宽度 则可以得出：输出Y[i, j]是通过以输入X[i, j]为中心，与卷积核进行互相关计算得到的。

步幅

 填充是padding参数

正方形：

填充长款不同：

conv2d = nn.Conv2d(1, 1, kernel_size=(3, 5), padding=(0, 1), stride=(3, 4))
comp_conv2d(conv2d, X).shape

多输入多输出

多输入，单输出

 简而言之，我们所做的就是对每个通道执行互相关操作，然后将结果相加。

多输出

下次吧