论文阅读——Semantic Soft Segmentation（语义软分割）

论文阅读——Semantic Soft Segmentation（语义软分割）

题目：Semantic Soft Segmentation - SIGGRAPH2018
作者：Yagiz Aksoy, Tae-Hyun Oh, Sylvain Paris, Marc Pollefeys and Wojciech Matusik
团队：MIT CSAIL, Adobe Research

语义软分割(Semantic Soft Segments)，旨在精确表示图像不同区域间的软过渡. 类似与磁力套索(magnetic lasso) 和魔术棒(magic wand) 的功能.

《Semantic Soft segmentation》主要提出了一个用于精确表示软过渡（soft transitions）的方法，通过引入了语义软分割（Semantic Soft Segmentation， 简写为SSS）的概念来精确表示软过渡。SSS是一组对应于图像中有语义意义区域的的layers，其在复杂对象中表现出精确的软过渡 。

​ *

作者从谱分析的角度处理语义软分割问题。将来自输入图像的纹理和颜色信息与通过使用训练用于场景分析的卷积神经网络生成的高级语义信息相结合。本文设计了一个图结构，在相应的Laplacian矩阵的特征向量中揭示语义对象以及它们之间的软过渡。最后通过引入一个空间变化的层稀疏度模型，该模型可以根据特征向量生成高质量的层，可用于图像编辑。作者演示了使用soft segments可以轻松地完成复杂的图像编辑任务。

出发点：
[1] - 能够分割图片中的不同物体，同时精确表示出分割物体间的过渡情况.
[2] - 自动完成分割，不用手工操作.

Semantic Soft Segmentation，自动将图像分解为不同的层，以覆盖场景的物体对象，并通过软过渡(soft transitions) 来分离不同的物体对象.

相关研究方向：

Soft segmentation - 将图像分解为两个或多个分割，每个像素可能属于不止一个分割部分.
Natural image matting - 估计用于定义的前景区域中每个像素的不透明度. 一般输入是 trimap，其分别定义了不透明的前景，透明的背景以及未知透明度的区域.
Targeted edit propagation
Semantic segmentation - 语义分割

reference:https://www.aiuai.cn/aifarm366.html