全连接网络的局限性

大图片输入到全连接网络中后会有什么效果,我们分析一下。
如果只有两个隐藏层,每层256个节点,则MNIST数据集所需要的参数是(28*28*256+256*256+256*10)个w,再加上(256+256+10)个b。
一 图像变大导致色彩数变多,不好解决
如果换为1000像素?仅一层就需要1000*1000*256,约等于2亿个w(可以把b都忽略)。
这只是灰度图,如果是RGB的真彩色呢?再乘以3后,则约等于6亿。如果想要得到更好的效果,再加上一个隐藏层,可以想象,需要学习参数量将非常多的,不仅消耗大量的内存,同时也需要大量的运算,这显然不是我们想要的结果。
二 不便处理高维度数据
对于比较复杂的高维度数据,如按照全连接的方法,则只能通过增加节点、增加层数的方式来解决。而增加节点会引起参数过多的问题。因为由于隐藏层神经网络使用的是Sigmoid或Tanh激活函数,其反向传播有效层数也只能在4到6层左右。所以,层数再多只会使反向传播的修正值越来越小,网络无法训练。
而卷积神经网络使用了参数共享的方式,换一个角度来解决问题,不仅在准确率上大大提升,也把参数降下来。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值