Spectral Matting 方法的理解

《Spectral Matting》[1]是来自Anat Levin的2008年的论文，同年他的另一篇论文是《A Closed-Form Solution to Natural Image Matting》[2]（我在上一篇博客中已讨论）。2018年的《Semantic Soft Segmentation》[3]也来自CSAIL.MIT，可谓一脉相承，[3]中采用[1]的 Spectral Matting 方法，将传统方法与深度学习方法有机结合在一起，实现了复杂图像上精确到头发级的像素软标注。本文着重讨论[1]的方法，后续文章也会讨论[3]。
Matting算法的典型假设是：

$$\mathbf I_i = \alpha_i \mathbf F_i +(1-\alpha_i)\mathbf B_i \qquad(1)$$
公式(1)中 $\mathbf I_i$ 表示图像 $\mathbf I$ 的像素 $i$上的颜色（R,G,B）矢量， $\mathbf F_i$ 表示前景颜色矢量， $\mathbf B_i$ 表示背景颜色矢量， $\alpha_i$ 表示该点的透明度取值范围是 $[0,1]$。 $\mathbf I_i$ 是前景 $\mathbf F_i$和背景 $\mathbf B_i$ 的线性组合，该方程被称为：compositing equation。
公式（1）的透明度 $\alpha$是一个标量，[1]扩展了它，让它成为了一个矢量：
$$\vec {\alpha_i}=\{\alpha_i^1, \alpha_i^2,\cdots,\alpha_i^K\}, \quad \text{and has constraint}\sum_{k=1}^K \alpha_i^k = 1 \\ \mathbf I_i=\sum_{k=1}^K \alpha_i^k \mathbf F_i^k \qquad(2)$$
公式（2）中像素 $i$的颜色矢量是多层颜色矢量 $\mathbf F_i^k$ 的线性组合。以下是一个例子：

图1 （d）中展示了8个matting层对应的 $\alpha^k,其中(k=1,\cdots,8)$。（c）中Alpha matte是由（d）的 α3<