【论文】ReNet: A Recurrent Neural Network Based Alternative to Convolutional Networks

 论文地址：ReNet: A Recurrent Neural Network Based Alternative to Convolutional Networks

1. 引言：

　　本文尝试用 基于四个方向的 RNN 来替换掉 CNN中的 convolutional layer（即：卷积+Pooling 的组合）。通过在前一层的 feature 上进行四个方向的扫描，完成特征学习的过程。与传统的多维RNN的区别是，作者采用的模型中的RNN是依赖于新颖方式耦合的单维度RNN。

　　The recurrent layer ensures that each feature activation，in its outputs is an activation at the speficific location with respect to the whole image, in contrast to the usual convolution+pooling layer which only has a local context window. （每一个特征激活的输出是 特定位置考虑到全图的激活，而不是局部内容窗口的激活）

　　

　　本文所采用的方法不同于 多维的 RNN（Multidimensional RNN），即：每一层的 RNN 的个数 与输入图像的维度是线性的关系。而一个多维的 RNN，每一层则需要指数级的 RNNs。此外，本文方法更容易进行并行，每一个 RNN 仅仅依赖于水平或者竖直的 patches。作者在三个数据集上进行了测试（MNIST, CIFAT10，SVHN）。

2. 模型描述：

 　　

 　　对图像的处理，要现将划分为多个不重叠的  patch。

　　首先，我们用两个 RNNs 水平的扫描图像，一个从上倒下，一个从下往上。每一个 RNN 将一个 patch 拉直以后的向量作为输入，然后更新其 hidden state，沿着输入图像 X 的每一个 column 进行。

　　

　　在水平、竖直的扫描完成后，我们将这个 hidden state 在每一个位置组合起来，得到一个混合的特征图 V。每一个 vi,jvi,j 是在位置 ij 处的特征检测算法的激活。

　　下一步，我们在得到的 feature map V 上进行水平的扫描。

　　

3. Model：

与LeNet的对比，在每一层，两种网络都采用同样数量的卷积核进行对输入图像和特征图的卷积操作。ReNet通过横跨整个图像的侧向（上下左右）连接传播信息，而LeNet仅利用局部信息。侧向连接应该有助于在每一层提取输入图像的更紧凑的特征表示，这可以通过侧向连接去除/解析图像的不同位置处的冗余特征来实现。 这应该允许ReNet在多个连续的补丁中解析特征的小位移。

LeNet当中使用了最大池化实现了局部区域的尺度不变性。通过对比，由于ReNet存在的侧连接模式，它并不需要任何的池化操作。ReNet中的横向连接可以模拟LeNet中最大池所引起的特征之间的局部竞争。但是并不意味着ReNet当中不需要池化过程，因为它可以减小特征图的维度，降低计算量。

由于池化操作的不可逆性，当使用卷积的方式建立起编解码的网络结构时，使用了最大池化的LeNet显得问题很严重。ReNet是端到端的具有平滑性与不变性，使得它在编解码结构当中有着独特的优势。

在一些场景下，ReNet的每一层可以看做是卷积+池化的一个变种，其中的池化被侧连接所取代，卷积操作之间没有任何的重叠。 由于RNN的天然序列性，关于ReNet的主要缺陷在于它的并行化问题。 LeNet由于在每一层激活计算的独立性使得它具有高并行性的特点。

　　 为了验证本文对特定的记忆模型没有要求，对不同的数据集用了不同的模型（GRU, LSTM 等）。

 

4. 实验结果：

　　用 Re-Net 分别在MNIST、CIFAR-10、SVHN数据集上的准确率. 

通过观察数据可知，在所有实验的数据集上ReNet并没有超过当前最先进的卷积神经网络，所以在其中还有很多的内容需要研究。

5. 讨论：

　　循环单元的选取。作者提出的架构独立于所选的循环单元。 在初步实验中观察到门控循环单元（GRU或LSTM）优于通常的sigmoid单元（仿射变换后跟元素方式的sigmoid函数）。这间接证实了该模型利用输入图像的长短式依赖性，门控循环单元有助于捕获这些依赖关系。

        ReNet训练的分析。在论文当中作者只做出了定量分析，在测试集上的准确率并没有揭示ReNet在提升物体识别准确率的情况下捕获了什么样的图像结构。更进一步做模型可视化及卷积分析是有必要的，同时探索将RNN和CNN结合起来用于联合预测的集合。

        计算有效的实施。　由于循环神经网络序列性的限制， 关于ReNet单个的侧循环虽然不能并行。但是ReNet运行前向及反向传播独立运行，使得可以部分并行化。    

6. 应用：

　　用 ReNet 进行语义分割，见参考文献1. 　

 Reference：

1. ReSeg: A Recurrent Neural Network-based Model for Semantic Segmentation