英语 语义分割_Decoders对于语义分割的重要性 | CVPR 2019

为了解决这个问题，本工作提出了Data-dependent Up-sampling (DUpsample)，能够减少上采样操作对特征图分辨率的依赖，大量的减少计算量。同时得益于 DUpsample， Encoder 中的 low-level feature 能够以更小的运算量与 Decoder 中的 high-level feature 进行融合，模型结构如下所示：

我们可以看到，该网络将传统的非线性插值替换成 DUpsample，同时在 feature fuse 方面，不同于之前方法将 Decoder 中的特征上采样与 Encoder 特征融合，本工作将 Encoder 中的特征下采样与 Decoder 融合，大大减少了计算量 ，这都得益于 DUpsample。

2. Our Approach

之前的语义分割方法使用下列公式来得到最终的损失：

其中 Loss 通常为交叉熵损失，F 为特征图，Y 为 ground truth，由于双线性插值过于简单，对特征图 F 的分辨率较高，因此引入了大量的计算。一个重要的发现是语义分割输入图像的 label Y 并不是 i.i.d 的，所以 Y 可以被压缩成 Y′，我们令, 并将 Y 划分成的子窗口，每个子窗口的大小为 r×r，接着我们将每个子窗口拉伸成向量，其中，随即我们将向量 v 压缩成低维向量 x，我们使用线性投影来完成，最后，我们有：，其中，用来将 v 压缩成 x，为 rec