LinkNet: Exploiting Encoder Representations for Efficient Semantic Segmentation论文阅读

概述

作者分析了目前语义分割网络的痛点，不能够real-time，特别是在移动端和嵌入式设备上。因此作者利用encoder-decoder结构设计了参数和计算量较少的LinkNet网络，取得了不错的效果，并兼顾的速度和准确性，并在嵌入式设备TX1上进行了实验。除此之外，博主自己也在TX2上利用TensorRT对LinkNet进行了加速，480*360的输入能够达到20fps。以下是博主自己对于本文的拙见和翻译，不完全对，欢迎讨论。

背景介绍

目前的语义分割基本上采用encoder-decoder的方式进行，encoder通过strided 卷积或者池化获得较大的感受野以提取语义信息，decoder通过直接双线性插值或者反卷积将encoder得到的feature map恢复到原图的尺寸以进行预测。因encoder阶段会丢失空间信息，所以目前的一些工作比如SegNet、FCN等都在decoder时都考虑了低层特征信息，SegNet上采样时利用了pooling时保存的indices，FCN则是考虑多层特征的上采样，然后这些方法在实时性上都有待提高。

LinkNet模型介绍

LinkNet模型结构并不复杂，基本网络结构如下图所示：

                        

其中encoder和decoder结构如下左右两图所示：

                  

encoder中的/2表示通过是strided conv后feature map的尺寸缩小2倍，decoder中*2表示上采样2倍。 本文的新颖之处在于，作者提出直接将低层encoder map contact到对应尺寸的decoder上的方法，这样既利用了低层精确的位置信息，又没有增添其他的参数和计算，因此在保证精确的前提下计算速度又得到很大的提高，在TX2等嵌入式平台上可达到实时分割的效果。