CNN相关公式

建议可以先看一下这个问题如何通俗易懂地解释卷积？，会了解的更透彻~（我甚至觉得百度百科都值得探索）

详文见本人知乎~

回归正文~记录贴（侵删，感恩）

卷积的物理意义：

系统某一时刻的输出是由多个输入共同作用（叠加）的结果。放在图像分析里，  可以理解为原始像素点(source pixel)，所有的原始像素点叠加起来，就是原始图了。

卷积的3个核心思想：

1. 稀疏交互（sparse interactions），即每个节点通过固定个（一般等于卷积核元素的数目，远小于前一层节点数）连接与下一层的神经元节点相连; 尽管是稀疏连接，但是在更深层的神经单元中，其可以间接地连接到全部或大部分输入图像。如果采用了步幅卷积或者池化操作，那么这种间接连接全部图像的可能性将会增加。
2. 参数共享（parameter sharing），以2D卷积为例，每一层都通过固定的卷积核产生下一层的特征图，而这个卷积核将从上到下、从左到右遍历图像每一个对应区域；
3. 等变表示（equivariant representations），卷积和参数共享的形式使得神经网络具有平移等变形，即  。另外，pooling操作也可以使网络具有局部平移不变形。局部平移不变形是一个很有用的性质，尤其是当我们只关心某个特征是否出现而不关心它出现的具体位置时。池化可以看作增加了一个无线强的先验，这一层学的函数必须具有对少量平移的不变形。

卷积的定义：

卷积的表达式为（注：f(x),g(x)是R1上的两个可积函数）：

离散形式是：

用矩阵表示可以为（星号表示卷积）：

二维卷积定义：

　　其中，W为卷积核，X为输入。如果X是一个二维输入的矩阵，而W也是一个二维的矩阵。但是如果X是多维张量，那么W也是一个多维的张量。

 

参考文献:

卷积神经网络CNN的原理（二）－－－公式推导 - 虚生 - 博客园​

神经网络参数更新公式推导（三）--卷积神经网络（CNN） - 程序员大本营​