深度学习基础理论篇一

1.深度学习中为什么使用卷积

和只用全连接层相比，卷积层的两个主要优势在于：参数共享和稀疏连接。
卷积神经网络善于捕捉平移不变性，这是因为，即使移动几个像素，这张图片依然具有非常相似的特征。

---

构建一个神经网络，其中一层含有3072个单元，下一层含有4074个单元。两层中的每个神经元彼此相连计算权重矩阵，它等于30724704.≈1400万参数，所以在全连接层下要训练的参数很多。而在卷积层下， 每个filter是5 * 5 那么一个过滤器有25个参数，再加上bias参数则为26个参数。一共是6组filter则一共有266=156。共计256个参数，参数量

1.1参数共享（卷积核）

观察发现，特征检测如垂直边缘检测如果适用于图片的某个区域，那么它也可能适用于图片的其它区域。也即，如果你用一个3 * 3 的过滤器检测垂直边缘，那么图片的左上角区域以及旁边的各个区域都可以使用这个3 * 3的过滤器。每个特征检测器以及输出都可以在输入图片的不同区域中使用相同的参数，以便提取特征。直观感受来看，一个特征检测器如垂直边缘检测器用于检测图片左上角区域的特征这个特征很可能也适用于图片的右下角区域。也即使用相同卷积核对整个矩阵进行filter。此即为参数共享，使用参数共享目的也即是为了减少权重参数量。

1.2稀疏连接

如图，output的左上角的0是通过3 * 3的卷积计算得到的，它仅依赖于这个3 * 3的input单元格，也即output的0仅与36个输入特征中的9个相连接，而且其他像素值均不会对其产生任何影响。