Semantic Soft segmentation 论文阅读

论文阅读——Semantic Soft segmentation

论文简介

《Semantic Soft segmentation》主要提出了一个用于精确表示软过渡（soft transitions）的方法，通过引入了语义软分割（Semantic Soft Segmentation， 简写为SSS）的概念来精确表示软过渡。SSS是一组对应于图像中有语义意义区域的的layers，其在复杂对象中表现出精确的软过渡 。

​ 作者从谱分析的角度处理语义软分割问题。将来自输入图像的纹理和颜色信息与通过使用训练用于场景分析的卷积神经网络生成的高级语义信息相结合。本文设计了一个图结构，在相应的Laplacian矩阵的特征向量中揭示语义对象以及它们之间的软过渡。最后通过引入一个空间变化的层稀疏度模型，该模型可以根据特征向量生成高质量的层，可用于图像编辑。作者演示了使用soft segments可以轻松地完成复杂的图像编辑任务。

问题描述：

给定输入图像，自动生成器软分割结果，即分解为表示场景内物体的不同层，包括物体的透明度和物体间的软过渡。

每一层的每一个像素通过使用透明度$\alpha \in [0,1]$进行增强表示，$\alpha =0$表示完全透明，$\alpha =1$表示完全不透明，中间值则表示不同水平的部分透明度。使用一个附加的图像构成模型进行描述：
$$\begin{gathered} (R,G,B{)}_{input}=\sum _i{\alpha }_i(R,G,B{)}_i \\ \sum _i{\alpha }_i=1 \end{gathered}$$
这样将输入的RGB像素表示为在每个层$i$ 中对应的权重${\alpha }_i$下的和，另外约束$\alpha$在每个像素中的和为1。

本文的方法和spectral matting具有相同形式，都是通过将软分割公式化为一个特征向量评估问题。其中的核心部分是Laplacian矩阵$L$的构建，$L$可以表示图像中每对像素属于同一个分割的可能性。spectral matting仅使用低级的局部色彩分布，本文则使用非局部信息和高级语义信息来增强这个方法。

背景知识

Spectral matting

​ 本文的方法建立在 Levin等人的工作上，Levin等人首次提出了matting Laplacian的概念，通过使用局部颜色分布来定义一个矩阵 $L$ ，这个矩阵在一个local batch 上获取每对像素的密切关系，典型的是5×5的batch。根据这个矩阵，在满足用户约束时，最小化二次函数 ${\vec{\alpha }}^{T}L\vec{\alpha }$，其中 $\vec{\alpha }$表示一个层的所有 $\alpha$值。这个数学形式，表明了$L$小特征值对应的向量对高质量mattes有很重要的作用。基于这样的结论，他们后来使用这些向量来建立软分割。每一个软分割是 $L$的$K$ 个最小特征值对应向量的线性组合，并且最大化matting sparsity，例如：最小化部分不透明的出现。分割由最小化一个倾向于$\alpha =0or1$的能量函数确定：
$$\arg \underset{{\vec{y}}_i}{\min }\sum _{i,p}(|{\alpha }_{ip}{|}^{\gamma }+|1-{\alpha }_{ip}{|}^{\gamma }),with{\vec{\alpha }}_i=E$$