A Bayesian Approach to Digital Matting 论文阅读报道

樊俊
202121000460

Matting Equation

$$C=\alpha F+(1-\alpha )B$$
其中，$C$表示组合之后的图像的颜色，$F$表示组合之前的前景图像颜色，$B$表示组合的背景颜色，$\alpha$是像素的不透明度成分，用于在前景和背景之间线性融合。

Blue Screen Matting

拍摄前景目标在确定的背景上的图像，然后求解前景和透明度。
$$\begin{gathered} R_c=\alpha R_f+(1-\alpha )R_b \\ {G}_c=\alpha G_f+(1-\alpha )G_b \\ {B}_c=\alpha B_f+(1-\alpha )B_b \end{gathered}$$
其中，$(R_c,G_c,B_c),(R_b,G_b,B_b)$已知，$(R_f,G_f,B_f,\alpha )$未知。要求解4个未知数，但是只有三个方程，这显然是一个欠约束问题，因此要求解的话必须添加额外的约束条件。

基于采样的抠图方法

• 在自然图像抠图中，适当的人工交互是必要的。大多数抠图算法通过用户标记的三元图（Trimap）实现对对解空间的约束。三元图通过指定一部分已知的前景区域与已知的背景区域对图像进行标记，由用户涂鸦交互生成，或者由二值图像分割结果自动生成。
• 基于颜色采样的方法认为图像的局部区域是连续的，具有相似颜色的近邻像素，也具有相近的$\alpha$值。
• 满足局部连续假设的像素在统计特征上具有相关性，通过采样未知像素周围近邻的已知前景、背景像素来估计$\alpha$值。
  
  
  已知黑色区域是背景( $\alpha =0,F=0,B=C$)，白色区域是前景( $\alpha =1,F=C,B=0$)，这两个区域的 $\alpha ,F,B$ 都是已知的。目的是估计灰色区域的不确定的 $\alpha ,F,B$。通过 matting 得到类似下面的结果。
  

Mishima

Mishima等人提出了一种解法。对于所有的背景采样点，计算这些采样点的最小包围，中心位置为$\overline{B}$ ,然后对所有前景采样点，同样计算其最小包围。对于给定的组合后颜色$C$，通过$\overline{B}$ 和$C$做射线，分别与前景包围线、背景包围线相交于$F、B$ 点，那么
$$\alpha =\frac{BC}{BF}$$
该方法的缺陷：

• 需要在RGB空间中分别计算所有前景像素和背景像素的最小包围圈，即使简化成最小包围球体，计算量也较大；
• 处理结果依赖初始状态下对前景和背景的划分。

Knockout

计算每个颜色通道的$\alpha$分量，加权平均作为最终的$\alpha$值，也称三通道加权法。该方法简单、运算速度很快，但只适用于光滑图像的抠图。

• 对给定的不确定区域内的一点$C$，计算所有前景区域的边缘像素与$C$的加权均值。和$C$最近的前景边缘像素点的权重设置为1，该权重随距离线性递减，距离为最近长度的两倍的像素点的权重为0。通过计算加权和得到前景$F$。
• 通过同样的方法初始化背景$B^{\prime }$。
• 过$B^{\prime }$点，以$\overrightarrow{F{B}^{\prime }}$为法线得到平面$S$。
• 将$C$投影到$S$得到点$B$。
• 计算$\alpha$。
  $$\alpha =\frac{f(C)-f(B)}{f(F)-f(B)}$$
  其中$f()$表示通过$rgb$空间将颜色投影到某个可能的轴只上（e.g., onto one of the r-, g-, or b- axes）。
  

Ruzon-Tomasi

采用统计方法来估计$\alpha$值，颜色估计和$\alpha$值估计的计算量很大，处理速度非常慢。

Beyesian

将抠图问题表示为贝叶斯形式。贝叶斯方法假设前景和背景像素均服从高斯分布，先建立前景颜色的概率分布，再把未知区域的像素划分到前景或背景的不同簇中，表示当前选定的F概率有多大。

已知观察图$C$,估计$F,B,\alpha$，求概率分布$P(F,B,\alpha |C)$取得最大值的时的$F,B,\alpha$，即最大后验估计：
$$\begin{array}{rl}& \underset{F,B,\alpha }{\mathrm{argmax}}P(F,B,\alpha |C)\\ & =\underset{F,B,\alpha }{\mathrm{argmax}}P(C|F,B,\alpha )P(F)P(B)P(\alpha )/P(C)\\ & =\underset{F,B,\alpha }{\mathrm{argmax}}L(C|F,B,\alpha )+L(F)+L(B)+L(\alpha )\end{array}$$
其中 $L(\cdot )$ 是对数似然 $L(\cdot )=\log P(\cdot )$，删除 $P(C)$ 项，因为它是关于优化参数的常数。
接下来就是对这个目标的三个似然项建模，然后求导优化

• $L(C|F,B,\alpha )$
  通过 Matting Equation 和 C 通过高斯分布来衡量颜色的差异
  $$L(C|F,B,\alpha )=-\frac{||C-\alpha F-(1-\alpha )B|{|}^2}{{\sigma }_C^2}$$
• $L(F)$
  未知区域的$L(F)$可以看作未知区域的每个点是前景点的概率。计算该概率首先需要得到前景的分布，即前景分布的样本点均值和协方差矩阵，然后计算每个点到样本点均值的马氏距离的平方来衡量属于这个前景分布的概率，距离的平方越小，属于前景的“概率”就越大，取负即最大化似然项。
  $$\begin{array}{rl}L(F)& =-(F-\stackrel{-}{F}{)}^{\top }\sum _F^{-1}(F-\stackrel{-}{F})\\ \stackrel{-}{F}& =\frac{1}{N}\sum _{i=1}^N{F}_i\\ \sum _F& =\frac{1}{N}\sum _{i=1}^N(F_i-\stackrel{-}{F})(F_i-\stackrel{-}{F}{)}^{\top }\end{array}$$
  其中 $\stackrel{-}{F}$ 是前景分布的样本点均值向量（ $3\times 1$ 向量, RGB三个灰度值）; ${\sum }_F$是前景分布的样本协方差矩阵（ $3\times 3$ 矩阵），$N$ 是样本点的数目。
  但实际上计算前景分布，采用局部窗口估计（论文中是圆，取局部邻域 200 个点），同时局部窗口内，每个点的权重也是不同的！由两项组成，局部窗口内所有已知的前景点的透明度 $\alpha$ 和到窗口中心的距离，即
  $$w_i={\alpha }_i\cdot G(i)$$
  其中，透明度 $\alpha$ 越高，越可能是前景点，用于估计前景分布的可信度就越高； $G(i)$ 是高斯距离加权函数，随着到窗口中心距离增大，权重越小。因此，对上面的似然项做更改
  $$\begin{array}{rl}L(F)& =-(F-\stackrel{-}{F}{)}^{\top }\sum _F^{-1}(F-\stackrel{-}{F})\\ \stackrel{-}{F}& =\frac{1}{W}\sum _{i=1}^N{w}_i{F}_i\\ \sum _F& =\frac{1}{W}\sum _{i=1}^N{w}_i(F_i-\stackrel{-}{F})(F_i-\stackrel{-}{F}{)}^{\top }\\ W& =\sum _{i=1}^n{w}_i\end{array}$$
• $L(B)$
  解法与$L(F)$一致，其中$w_i=(1-{\alpha }_i)G(i)$,其中，透明度 $\alpha$ 越接近0，是背景点的概率就越大。
  $$L(B)=-(B-\stackrel{-}{B}{)}^{\top }\sum _B^{-1}(B-\stackrel{-}{B})$$
• 求解
  论文提出的是，使用迭代求解的方法，先假设 $\alpha$ 不是变量，对 $F,B$ 求偏导，求解极值处的 $F,B$ ；然后假设 $F,B$ 不是变量，对 $\alpha$ 求偏导，求极值处的 $\alpha$ ，这样不断迭代直到收敛为止。在这个迭代求解的过程中，找出使得似然函数最大时对应的 $F,B,\alpha$ 作为最终结果。
  $$\alpha =\frac{(C-B)\cdot (F-B)}{||F-B|{|}^2}$$