本文探讨了在轻量化模型设计中如何优化通道数以提高准确性。研究发现，通道数变化与矩阵秩有关，非线性对增强表达能力至关重要。实验表明，线性增加通道数的配置方案在各种任务中表现最佳，并且提出的ReXNet模型在效率和性能上优于EfficientNet。
写在前面
这篇文章配合原文食用效果更佳。作者资历尚浅，仍在学习中，欢迎讨论指正。
论文传送门：Rethinking Channel Dimension for Efficient Model Design
主要思路
通过研究channel数量的变化对网络的表达能力的影响，找到一种最优的配置channel数的方法，使轻量化网络（定义为限制网络的parameters 和 Flops）的accuracy提高。
创新
“Channel Dimension Configuration”。NAS的方法大部分是固定channel数，配置网络的其他参数，或仅仅在传统channel配置附近做一些微调，没有系统的研究过怎么样配置每一层channel的数量是最优的。因此NAS方法也有一定局限性。
实验过程
前述知识：
矩阵的秩：一个矩阵的最大线性无关行数称为行秩，最大线性无关列数称为列秩，秩是行秩和列秩中的较小值。
inverted bottleneck：
residual block和 inverted residual
最低0.47元/天 解锁文章
689
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
