深度学习复习总览（五）

---

卷积神经网络

为什么引入卷积网络？主要是对于图片来说，全连接神经网络的几个弊端如下：

---

一、三个特点

稀疏交互/局部连接：
在全连接神经网络，一层的每个神经元和前一层的所有神经元都有连接；而在卷积神经神经网络中，输出单元和前一层的部分神经元（卷积核大小）有连接；这样导致的结果是参数由M(L)*M(L-1)减少为M(L) *K * K. 其中K为卷积核大小/滤波器大小。
参数共享：
对于上面的每一个神经元都有前一层的K *K个神经元相连接，而他们用的参数是一样的，所以参数进一步减少为K * K。 但是这里的弊端就是只能提取一种特征，所以需要多个卷积核提取不同的特征。
平移不变性：

---

二、卷积和互相关

两者的关系可以用下面的图来表示，目前一般在网络设计中都是用的互相关，也默认称为卷积。