读论文笔记：Object Co-Segmentation Based on Shortes Path Algorithm and Saliency Mode

Fanman Meng, Hongliang Li, Guanghui Liu, and King Ngi Ngan, "Object Co-segmentation based on Shortest Path Algorithm and Saliency Model,"IEEE Transactions on Multimedia, vol.14, no. 5, pp. 1429 - 1441, 2012.

作者工作单位是电子科技大学，相关主页见链接，大家有兴趣可以去下载运行。

联合分割（Co-segmentation）是最近比较火的研究课题，主要目标是从多张图像中分割出相同的目标前景，之前的方法主要是建立在像素级上，而本篇论文采用了先针对单张图像进行预风格，然后进行优化组合（shortest path）找出多张图像中的相同目标。具体的步骤为：

Step 1：采用多种分割方法对单张图像进行分割，本文采用了基于显著性的grubcut，基于轮廓的方法等将单张图像分割成候选区域R（i，j），其中i为图像标号，j为区域标号；

Step 2：构建有向图模型，将第一步得到的每个候选区域作为图的节点，让第i幅图像的节点——候选区域R（i，j）指向第i+1幅图像的所有候选区域R（i+1，:）；这里要注意的第i幅图像的候选区域之间没有edge相连。边的权重W由两部分的加权和组成，W = W1 + alpha*W2。

第一部分W1是两个候选区域的颜色或者形状相似度，第二部分W2是每个区域的显著性值；为了表示方便，增加两个虚拟节点，给这个图模型添加一个起点和一个终点。

Step 3：这样，就将联合分割问题转换成了最短路径求解，通过寻找最短路径而得到多张图像中的共同或者相似目标。

具体模型见下图：

之前的疑惑：

如果候选区域块分割不完整但和ground true具有相同的颜色和纹理，这样的候选区域对结果的干扰如何消除？

对于这个问题，关键就在于边的权重W的第二部分，这部分是以候选区域的显著性值大于0.5的和与整个图像的显著性大于0.5的和做比。这样有效保证了候选区域越完整，W2越大。并且，第二部分的权重alpha的选取也至关重要，推荐取0.2， 0.5， 1.0， 1.2等。

方法的局限性：

1. 每张图像的显著性计算要准确，如果显著性计算错误，也就是背景显著性比较高，那么分割出的目标位背景区域；

2. 每张图像有且只能有一个前景；

3. 最后分割的准确性极大的由候选区域的分割有关，如果候选区域不能包含很准确的前景，那么准确率肯定很差。