论文阅读：LSTM-CF: Unifying Context Modeling and Fusion with LSTMs for RGB-D Scene Labeling

1 摘要

（如果之前没有了解过RNN处理语义分割任务时，建议先看这篇文章：论文笔记：ReNet: A Recurrent Neural Network Based Alternative to Convolutional Networks，因为这篇文章也是参考了ReNet的思路。）

本文提出一个新颖的网络结构LSTM-CF用于RGB-D图像（有关RGB-D图像的资料戳这！）的分割，该网络同时使用CNN处理RGB-D的RGB图像和深度图像，再将二者进行特征融合使用RNN处理，达到一个对RGB-D图像的分割。由于引入了RNN整合上下文信息，在SUNRGBD数据集和NYUDv2数据集得到当时最好的效果。

2 亮点

2.1 LSTM-CF网络总体思路

LSTM-CF网络的总体思路其实很简单，就是将RGB-D图像分别进行两部分处理，如下图：

第一部分，通过CNN对RGB图进行特征提取，然后再通过双向RNN（BRNN）对图像每一列进行扫描整合上下文信息；第二部分，对深度图像使用CNN特征提取再通过BRNN每一列进