【CVPR 2021】搜索网络宽度:BCNet: Searching for Network Width with Bilaterally Coupled Network
论文地址:
https://arxiv.org/abs/2105.10533
主要问题:
寻找一个更紧凑的网络宽度(而非保留重要的权值)也是一种有效的通道修剪方法,通常是利用一次性超级网来有效地评估不同的网络宽度的性能,其中网络宽度的性能是指具有超网共享权值的指定子网络的精度
然而目前的方法主要采用单方面增强(UA)原则,这导致了超网信道的训练出现不平衡的问题(就是说下图 a 里面使用均匀采样的话,靠近左边的通道采样频率更高,训练次数也更多)
主要思路:
在这篇文章中,作者引入了一个新的超网络,称为双耦合网络(BCNet)
在BCNet中,每个通道都经过了相当大的训练,并负责相同数量的网络宽度,而且在训练和评估中,每个宽度都是由双侧(即左右)通道