【分类网络】NiN

NiN是一种深度学习模型,通过引入1×1卷积核的MLPconv层和全局平均池化层,减少了参数数量,提高了运算速度并降低了过拟合风险。相比AlexNet,NiN在性能上有所提升,且其思想被后续的Inception和ResNet等模型借鉴。
摘要由CSDN通过智能技术生成

⭐ NiN

参考文献:《Network In Network(2014)》

NIN改进了传统的CNN,采用了较少的参数就取得了超过AlexNet的性能,AlexNet参数大小是230M,NIN只需29M,此模型后来先后被Inception与ResNet等借鉴。它在卷积层后面增加1×1卷积核,然后将全连接层换成全局平均池化层,提供了减少训练参数的思想,提高了运算速度,有效避免了过拟合。


✔️诞生背景

传统CNN由卷积层和池化层交替组成,卷积核是输入样本的广义线性模型(GLM),抽象程度较低,当样本隐含概念线性可分时效果较好,然而实际情况中大多隐含概念都是线性不可分的。GLM为了尽量包含到所有隐含概念则只能疯狂增加每一层的神经元数量,导致产生很多冗余参数;若加入一些神经元来输出最大的激活值以减少特征图数量,则只适用于隐含概念位于输入空间的凸集内。因此需要一个更通用的函数逼近器使得隐含概念处于更复杂的分布时也依然能用(MLPconv)。全连接层参数量大很容易导致模型过拟合(Global Average Pooling-GAP)。

✔️网络结构

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值