卷积神经网络与全相联网络的对比以及卷积神经网络的梯度递减实现方法

本篇博客主要介绍一下卷积神经网络与全相联网络的对比，然后介绍卷积神经网络的梯度递减法如何从全相联网络的梯度递减法推导。

假设有上面一张图片，需要经过卷积层，我们的卷积核如下图所示

经过卷积得到如下图片：

我们给这些图片矩阵从左到右，从上到下编号并且展开得到下面的网络结构

---

卷积网络图

---

全相联网络图

将卷积网络图与全相联网络图进行对比，我们能够发现：
1.卷积网络可以看成一种瘦小化的全相联网络，卷积网络第二层节点只连接了上一层少数的几个输入，而全相联网络结构第二层节点要连接上一层所有的输入节点。
2.卷积网络的某些连接路径共用了权重，如上图，相同颜色的路径共用同一个权重。

卷积完之后会有一个池化层，以最大池化($2\times 2$)为例。

∂L1∂w1=∂L1∂