深度学习中为什么使用卷积?

深层神经网络中使用卷积的优点:参数共享稀疏连接平移不变

参数共享Parameter Sharing

准确的定义如下:

A feature detector (such as a vertical edge detector) that's useful in one part of the image is probably useful in another part of the image.

直观的理解就是,一个卷积核,如果它适用于一幅图片的左上角做边缘检测,则他也能适用于图片的右下角。
卷积核的参数不需要改动,就能被适应,这就是所谓参数共享

稀疏连接Sparsity of Connections

准确的定义如下:

In each layer, each output value depends only on a small number of inputs.

直观的理解就是,卷积输出的每一个数值(像素),只与卷积核大小的像素值有关,与卷积核范围之外的其它像素无关。

平移不变Translation Invariance

即使把图片移动几个像素,这张图片依然具有非常相似的特征。

怎么理解呢?平移后,MaxPooling的输出,在一定范围内还是相同的(不变)。

结论

深层神经网络中使用卷积,可以通过参数共享稀疏连接,减少参数。参数少了,我们就能用更少的训练集来训练网络,从而预防过拟合。

  • 卷积层只需要很少的参数,就能连接两个很大维度的特征
  • 全连接层,要连接两个很大维度的特征,参数会非常多

而有Pooling层的存在,神经网络具备平移不变这样的性质,提高了泛化能力。

  • 3
    点赞
  • 13
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值