RiR(ResNet in ResNet)

Paper : ResNet in ResNet : Generalizing Residual Architectures
Code : unofficial

摘要

作者尝试提出一种网络结构，将ResNet和普通的CNN网络统一起来，感觉意义不大。

网络结构

广义残差网络架构的模块化单元是一个并行结构的广义残差块，并行包含了一个残差通道$\text{r}$和一个瞬变通道$\text{t}$。残差通道采用和ResNet类似的identity shortcut connection，瞬变通道采用标准的卷积层。另外，有两组卷积核对两个通道进行交叉卷积($W_{l,\text{r}\to \text{t}}$ 和 $W_{l,\text{t}\to \text{r}}$)：

$$\begin{gathered} {\text{r}}_{l+1}=\sigma (\text{conv}({\text{r}}_l,W_{l,\text{r}\to \text{r}})+\text{conv}({\text{t}}_l,W_{l,\text{t}\to \text{r}})+\text{shortcut}({\text{r}}_l)) \\ {\text{t}}_{l+1}=\sigma (\text{conv}({\text{r}}_l,W_{l,\text{r}\to \text{t}})+\text{conv}({\text{t}}_l,W_{l,\text{t}\to \text{r}})) \end{gathered}$$

通道的使用可以保留残差单元的优化特性，$\text{t}$通道的使用将允许前层提取的特征被去除。下面是广义残差块的框架图

从左到右分别是ResNet block，ResNet Unit，ResNet Unit 中的残差部分和RiR Block，ResNet Unit就是这篇论文中提出的统一ResNet和普通的CNN网络的模块，而RiR Module就是使用ResNet Unit 替换Conv，以ResNet Block的方式连接。

如果$\text{r}$通道的权重为0，广义残差块就相当于一个标准的卷积层；如果$\text{t}$通道的权重为0，广义残差块就相当于标准的残差块。通过广义残差块的堆叠，网络可以学习图1b中的各种可能的结构。新的广义残差块增强了信息处理能力。广义残差块不仅可以用于CNN，也可以用于其它类型的网络。我们总结了CNN、ResNet Init、ResNet和RiR架构之间的关系。

核心观点

1. 提出了ResNet Unit和RiR结构，前者可能有用，后者个人感觉意义不大，最后都要被Dense Net 干翻。