本文探讨了深度学习中使用卷积运算而非全连接网络的原因，主要优势在于参数共享和稀疏连接。参数共享减少了所需估计的参数数量，有助于防止过拟合，并且使模型能在小训练集上训练。稀疏连接意味着每个输出只与输入的局部区域相关，增加了模型的效率。此外，卷积神经网络（CNN）擅长捕捉平移不变性，使其在计算机视觉任务中表现出色。
1.11 为什么要使用卷积(why convolutions?)
首先直观上，使用卷积比全连接网络少很多参数，如下图所示:
对于32*32*3的图像，令f=5，使用6个filter，参数值为5*5*6+6=156个参数，权重参数个数为5*5*6，偏差为6个，所以是156。但是全连接会产生多少个参数呢？将这两个图片都flatten成向量，分别是3072维和4704维向量，这时使用全连接就会有3072*4704约为14m的权重需要我们估计，而32*32*3这个图片也不是很大，所以不一定能很好估计这么多参数。很少的参数以便我们可以使用较小的训练集来训练，有利于预防过拟合。
针对于全连接网络，使用卷积的优点其实有两条：参数共享(parameter sharing)和稀疏连接(sparsity connection)。如下图所示：
什么是参数共享(parameter sharing)？表面上直接来看就是因为卷积运算就是filter同原图中各个部分进行运算，所以它们共用了同一部分参数，这就是参数共享，但实际上这样做是因为合理性，因为filter作用就是特征探测器，通过卷积运算得到一些低阶或者高阶特征
最低0.47元/天 解锁文章
扫一扫
1万+
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
