神经网络的深度、宽度和分辨率

(知识的搬运工.jpg)
深度——神经网络的层数
宽度——每层的通道数
分辨率——是指网络中特征图的分辨率

深度和宽度是深度神经网络的两个基本维度,分辨率不仅取决于网络,也与输入图片的尺寸有关。

对于深度和宽度,以及他们对网络性能的影响,这篇博客有介绍:
深度学习网络的宽度和深度怎么理解,增加宽度和深度对网络模型有什么影响?
简单总结就是:
1.更深的网络,有更好的非线性表达能力,可以学习更复杂的变换,从而可以拟合更加复杂的特征,更深的网络可以更简单地学习复杂特征。
网络加深会带来梯度不稳定、网络退化的问题,过深的网络会使浅层学习能力下降。深度到了一定程度,性能就不会提升了,还有可能会下降。
2.足够的宽度可以保证每一层都学到丰富的特征,比如不同方向,不同频率的纹理特征。宽度太窄,特征提取不充分,学习不到足够信息,模型性能受限。
宽度贡献了网络大量计算量,太宽的网络会提取过多重复特征,加大模型计算负担。
3.提升网络性能可以先从宽度入手,提高每一层的通道的利用率、用其他通道的信息补充较窄的层,找到宽度的下限,用尽量小的计算量得到更好的性能。

对于网络的分辨率,这篇文章提出了一个高分辨率网络,用来替代视觉识别问题中对空间精度不够敏感的分类网络:
CVPR 2019 | 告别低分辨率网络,微软提出高分辨率深度神经网络HRNet

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值