什么是alpha matting？

同学给我一篇文献，针对视频对象分割，论文提出了一种精确运动层分割和Matting技术，将运动分割与alpha matting技术结合起来，由于对alpha matting不太懂，所以找资料认真学习了一下，整理收集如下： 什么是alpha matting？    Pulling a matte： matte在字典里的解释是不平滑的意思，matting在photoshop里面是指消除图像的背景边缘或者去掉粗糙点。把digital matting技术应用于图像，是基于这样一个概念，它认为一幅图像是由背景和前景合成的，只是在不同的区域两者参与的比例不一样，在只有背景的地方，前景的参与比例为0％；而在只有前景的地方，背景的参与比例为0％。因此我们把这个比例值定义为一个未知数alpha，即α。这样我们把图像C分割成一个前景对象图像C璅，一个背景图像CB和一个alpha matte α，于是就有了digital matting的数学定义： C＝α×C璅＋（1－α)×CB。如果再具体一点，针对每个像素，背景颜色为CB＝[RB,GB,BB]，前景对象颜色为C璅＝[RF,GF,BF, α](或者C璅＝[αRF, αGF, αBF])，于是matting方程为C＝C璅＋(1－α)×CB。通常在应用中都是来需求这个方程的解，获得图像的最后分割结果，但如何来解这个方程呢？ 在介绍解这个方程之前，先来认识一下蓝屏matting（blue screen matting） 和环境matting（environment matting）。蓝屏matting在很多TV或电影中经常用到，背景提取的形式是：首先需要一个已知的背景，然后通过SSD>threshold计算alpha值，在这里要期望前景与背景不一样，也就是没有蓝色带。为什么是蓝色呢，又为什么这样统一呢？还需要找答案。这里有这样的描述：“电影和电视工作者使用蓝色屏幕进行简单的景物提取。被摄物置于一张蓝色屏幕前，录制完毕后胶片上的蓝色屏幕被其他的背景所替代。Smith和Blinn非常详细的研究了这种“蓝屏”问题，发现仅仅在最简易的情况下才存在唯一的物象提取结果。”还有：“蓝屏技术对图像的背景或者前景颜色有一定限制，背景通常是固定颜色，一般情况下选蓝色或者绿色，或者是准备多张有相同前景的图像，利用这些图像中的背景颜色的不同，来达到准确提取前景的目的。” 第一种解答方法：没有蓝色。令BF＝0，这样就只剩下三个方程和三个未知量。方程如下所示：R=α×RF＋（1－α)×RB   求RF G=α×GF＋（1－α)×GB  求GF B=（1－α)×BB           求α 第二中解答方法：灰度图。令RF＝GF＝BF，这样就只剩下三个方程和两个未知量。 除了上面的两种方法，这里还介绍一种三角测量matting，与减少未知量个数相反，它通过增加未知量的个数来求解。它是把对象放置到两种不同背景下，这样就产生六个方程和四个未知量。方程如下所示： 令在像素P点，CB1=[RB1,GB1,BB1]     CB2=[RB2,GB2,BB12   则合成的像素为：C1=[R1,G1,B1]  C2=[R2,G2,B2]  于是得到方程为： R1=α×RF＋（1－α)×RB1    R2=α×RF＋（1－α)×RB2 G1=α×GF＋（1－α) ×GB1  G2=α×GF＋（1－α)×GB2 B1=α×BF＋（1－α)×BB     B2=α×BF＋（1－α)×BB2    环境matting的方程与上述的不一样，多了一个参量，方程如下所示：           C＝C璅＋(1－α)×CB＋Φ  Φ表示环境中的光穿过前景对象的度。    Alpha matting技术在图像中的应用主要在对象提取上面，因此在这方面的研究比较多，主要是从单幅图像中提取物体对象，除了人工参与手动描出对象边界外，近年来有Ruzon和Tomasi提出的基于统计学的方法，Hillman等人提出的主成分分析法，还有Y.Y.Chuang 等人提出的Bayes方法，也是基于统计学的代表。除此之外，微软亚洲研究院Jian Sun等人根据Patrick P´erez等人2003年发表的Poisson Editing方法提出Poisson Matting ，实际上是将透明度作为图像的一种内在属性——“场”，变向地寻求其最优解。Olivier Juan 和Renaud Keriven针对digital matting提出了一种无监督的分割方法，它是通过一个小的子集合中提取前景和背景区域来初始化matting，对前景和背景分别使用标准的统计模型，而对混合区域单独设计一个。再用一个水平集合方法（a level set method）的应用来同时确定这三个区域。之后又提出了一种trimap 分割，采用一个基于优化策略的迭代图分割同时确定三个区域。     随着流媒体和当今电影电视技术的发展，将digital matting技术应用于视频图像中运动对象的提取也逐渐多起来，这在电影特技中会有广泛的应用。如何有效地将这个技术应用于视频图像的对象分割，是我正在研究的。对alpha matting 有研究的朋友，不妨交流一下