论文:Convolutional Neural Networks with Alternately Updated Clique
论文链接:https://arxiv.org/abs/1802.10419
代码链接:https://github.com/iboing/CliqueNet
这篇文章是CVPR2018的oral,提出了一个新的网络结构,旨在进一步提高网络特征的利用率。该网络的思想是:在一个block中,每一层即是其他层的输入,也是其他层的输出。如何做到在一个block中每一层即是其他层的输入,又是其他层的输出?原文表述如下:Concretely, the several previous layers are concatenated to update the next layer, after which, the newly updated layer is concatenated to re-update the previous layer, so that information flow and feedback mechanism can be maximized. 后面会详细介绍。
Figure1是一个包含4个网络层的block示意图,unfold的形式结合后面的Table1和公式1会更容易理解。两个概念:一个是block,一个block可以包含多个stage;另一个是stage,表示参数更新的不同阶段。Figure1中一个block包含两个stage,stage-I是首次更新,stage-II是第二次更新。熟悉DenseNet网络结构的同学应该可以看出Stage-I的