笔记三:卷积层相较于全连接层的优势

卷积层相较于全连接层的优势

参数计算量小

在这里插入图片描述
说明:如图所示,如果将32x32x3的单元进行全连接得到28x28x6的单元,所需要的参数量如图所示大约需要14 million;但是若是经过如图所示的卷积计算需要的参数为(5x5+1)x6=156个参数。大大减小了训练过程中的参数训练数量。

卷积神经网络卷积层保证参数少的原因

权值共享–Parameter sharing

在这里插入图片描述

  1. 根据吴恩达老师所说:对于如图6x6的单元来说,如果对其使用如图3x3的特征检测器进行特征提取,如果该特征检测器适用于图片的某个区域,则该特征检测器也适用图片的其他区域。举例说明:假设3x3的特征检测器是一个垂直特征检测器,则其对6x6的单元在左上角进行垂直特征的提取,那么其在其他区域也应该相应的能够提取到垂直特征。
  2. 根据1中所阐述的过程,也就是说:该特征检测器可以在整个6x6的单元中进行普遍使用,即所说的权值共享

稀疏连接–Sparsity of Connections

在这里插入图片描述

  1. 如上图绿色(红色)部分显示:输出特征单元(4x4单元)绿色(红色)圈出部分的计算只和输入特征单元(6x6单元)的绿(红)色斜线覆盖的单元中的9个特征值相关,换句话说,即与这9个特征值进行连接,而和其他的36-9=27个特征值没有任何关系。相比于全连接:其输出特征图中的所有值和输入特征图中的所有值都进行了一个连接,所以说,卷积神经网络中卷积层的卷积运算是一种稀疏连接方式。

总结:

  1. 卷积层相较于全连接层需要训练的参数更少,所以神经网络的设计离不开卷积层
  2. 卷积层通过参数共享和稀疏连接两种方式来保证单层卷积中的训练参数少
  3. 由上,也可以推出:卷积核(即上述所说的特征检测器或者权重)的大小会影响训练参数数量,但相较于全连接来说是小巫见大巫
  • 5
    点赞
  • 14
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值