上采样和下采样_CVPR2019 语义分割之数据依赖上采样

数据依赖上采样（澳大利亚阿德莱德大学）

https://arxiv.org/pdf/1903.02120.pdf​arxiv.org

１　论文出发点

　　现在２ｄ语义分割的出发点是越来越难找了，此篇文章从一个比较小的点出发，写了一篇ＣＶＰＲ也给大家提供了不少新思路。该文章重点攻关方向在于语义分割的上采样部分，认为传统的双线性插值没有考虑数据间的依赖关系或者考虑不充分，作者为此设计了一种　数据依赖的上采样。下面我面看数据依赖怎么理解。

２、数据依赖上采样

　　它的核心思想：首先对标签数据集直接下采样，然后学习重构模型恢复到原始分辨率，那么这学到的上采样重构模型就是：数据（标签集）依赖上采样。

　就接下来看他的重构模型是怎么建立的(第４页，左半部)。

下采样部分

　　１、首先根据采样率ｒ（以２为例），将原始标签Ｙ划分为多个２*２的网格. 注意文中将标签one-hot编码了，所以标签是Ｈ*Ｗ*c的（０，１）三维矩阵了。

　　２、将上述每个网格拉成一个Ｎ=２*２ *c的一维向量Ｖ，此时空间分辨率已经实现下采样了，只是通道数增加了。

　　３、在对每个位置的Ｎ维向量，压缩(线性P)一下，减小维度到　“Ｃ冒号”ｘ

　　４、自然形成（文中说水平、垂直堆叠）了下采样的标签　“Ｙ冒号”

重构部分

重构部分很简单,它只要求将X重构到向量ｖ，所以一个矩阵Ｗ搞定。加上上面的线性压缩矩阵Ｐ，通过训练集训练就可以获取。

那么这学到的重构部分，就可拿去进行上采样了。