【CVPR 2021】模型通道的参数化配置：Rethinking Channel Dimensions for Efficient Model Design

论文地址：

https://arxiv.org/abs/2007.00992

主要问题：

如何在有限的计算成本下调整每一层的通道大小以达到最优值尚未得到深入的研究，即使是基于网络架构搜索（NAS）的模型，也往往是根据惯例设计的，或者在预定配置附近的少数选项中进行更多的探索，并专注于搜索构建块

作者假设传统信道配置设计的紧凑模型可能由于主要关注浮动效率而受到限制

主要思路：

这篇文章主要研究了一种具有额外精度增益的轻量级网络的有效信道配置

作者推测一层的表达性可以通过输出特征的矩阵秩来估计，并基于上述假设设计搜索网络架构来识别信道配置，从而产生比约定更好的精度

结果表明，最佳信道配置被网络中的块索引参数化为线性函数

实证研究：

研究概述：

作者的目的是研究一个扩展输入维度的单个扩展层的设计标准，因此作者测量了来自不同架构（超过1000个随机大小的网络）的输出特征的排名，并将其趋势视为输入维度向输出维度的变化

秩最初以输入维为界，但随后的非线性函数将增加输入维以上的秩，但是，某些网络无法扩展接近输出维度的级别，并且该特性将不会得到充分利用

作者进行了统计验证了网络设计时避免出现上述问题的方法

准备工作：

作者生成了一组由构建块组成的网络