本文是对《Rethinking the Inception Architecture for Computer Vision》论文的笔记，探讨了Inception-V3的设计原则，如避免表征瓶颈、分解卷积以减少计算量，以及辅助分类器的作用。此外，还提到了通过标签平滑进行模型正则化和在低分辨率输入上的性能优化策略。
《Rethinking the Inception Architecture for Computer Vision》的笔记,粗略的记下了比较重要的几点.
论文还有未看完的,这些之后再补充.
设计网络原则
1.避免表征瓶颈。大部分时候，特征大小应当缓慢变小，在变小的同时增加维度。（下采样是减小信息，而升维是增加信息）[以免降维时丢失信息过多]
2.高维特征更容易局部处理，收敛更快。（高维易分）[这里不太明白]
3.空间聚合能通过低维嵌入达到无损。（concat前可以降维，性能损失接近无）
4.平衡宽度和深度。（宽度和深度的比例要合适）
分解卷积
小卷积堆叠
2个3* 3代替1个5*5 减少28%的计算量
有一个问题:
第一个3*3后接线性激活会不会比ReLU更好？
实验结果证明relu更优.(作者猜测是因为网络能够学习这种空间变化的增强,实验证明这是数据增强)
非对称分解
3* 3卷积分解2个2* 2节省11%计算量，而分解成1* 3和3*1节省33%
理论上，任何卷积都能分解成不对称卷积，但实验发现
最低0.47元/天 解锁文章
扫一扫
4万+
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
