同学给我一篇文献,针对视频对象分割,论文提出了一种精确运动层分割和Matting技术,将运动分割与alpha matting技术结合起来,由于对alpha matting不太懂,所以找资料认真学习了一下,整理收集如下: 什么是alpha matting? Pulling a matte: matte在字典里的解释是不平滑的意思,matting在photoshop里面是指消除图像的背景边缘或者去掉粗糙点。把digital matting技术应用于图像,是基于这样一个概念,它认为一幅图像是由背景和前景合成的,只是在不同的区域两者参与的比例不一样,在只有背景的地方,前景的参与比例为0%;而在只有前景的地方,背景的参与比例为0%。因此我们把这个比例值定义为一个未知数alpha,即α。这样我们把图像C分割成一个前景对象图像C璅,一个背景图像CB和一个alpha matte α,于是就有了digital matting的数学定义: C=α×C璅+(1-α)×CB。如果再具体一点,针对每个像素,背景颜色为CB=[RB,GB,BB],前景对象颜色为C璅=[RF,GF,BF, α](或者C璅=[αRF, αGF, αBF]),于是matting方程为C=C璅+(1-α)×CB。通常在应用中都是来需求这个方程的解,获得图像的最后分割结果,但如何来解这个方程呢? 在介绍解这个方程之前,先来认识一下蓝屏matting(blue screen matting) 和环境matting(environment matting)。蓝屏matting在很多TV或电影中经常用到,背景提取的形式是:首先需要一个已知的背景,然后通过SSD>threshold计算alpha值,在这里要期望前景与背景不一样,也就是没有蓝色带。为什么是蓝色呢,又为什么这样统一呢?还需要找答案。这里有这样的描述:“电影和电视工作者使用蓝色屏幕进行简单的景物提取。被摄物置于一张蓝色屏幕前,录制完毕后胶片上的蓝色屏幕被其他的背景所替代。Smith和Blinn非常详细的研究了这种“蓝屏”问题,发现仅仅在最简易的情况下才存在唯一的物象提取结果。”还有:“蓝屏技术对图像的背景或者前景颜色有一定限制,背景通常是固定颜色,一般情况下选蓝色或者绿色,或者是准备多张有相同前景的图像,利用这些图像中的背景颜色的不同,来达到准确提取前景的目的。” 第一种解答方法:没有蓝色。令BF=0,这样就只剩下三个方程和三个未知量。方程如下所示:R=α×RF+(1-α)×RB 求RF G=α×GF+(1-α)×GB 求GF B=(1-α)×BB 求α 第二中解答方法:灰度图。令RF=GF=BF,这样就只剩下三个方程和两个未知量。 除了上面的两种方法,这里还介绍一种三角测量matting,与减少未知量个数相反,它通过增加未知量的个数来求解。它是把对象放置到两种不同背景下,这样就产生六个方程和四个未知量。方程如下所示: 令在像素P点,CB1=[RB1,GB1,BB1] CB2=[RB2,GB2,BB12 则合成的像素为:C1=[R1,G1,B1] C2=[R2,G2,B2] 于是得到方程为: R1=α×RF+(1-α)×RB1 R2=α×RF+(1-α)×RB2 G1=α×GF+(1-α) ×GB1 G2=α×GF+(1-α)×GB2 B1=α×BF+(1-α)×BB B2=α×BF+(1-α)×BB2 环境matting的方程与上述的不一样,多了一个参量,方程如下所示: C=C璅+(1-α)×CB+Φ Φ表示环境中的光穿过前景对象的度。 Alpha matting技术在图像中的应用主要在对象提取上面,因此在这方面的研究比较多,主要是从单幅图像中提取物体对象,除了人工参与手动描出对象边界外,近年来有Ruzon和Tomasi提出的基于统计学的方法,Hillman等人提出的主成分分析法,还有Y.Y.Chuang 等人提出的Bayes方法,也是基于统计学的代表。除此之外,微软亚洲研究院Jian Sun等人根据Patrick P´erez等人2003年发表的Poisson Editing方法提出Poisson Matting ,实际上是将透明度作为图像的一种内在属性——“场”,变向地寻求其最优解。Olivier Juan 和Renaud Keriven针对digital matting提出了一种无监督的分割方法,它是通过一个小的子集合中提取前景和背景区域来初始化matting,对前景和背景分别使用标准的统计模型,而对混合区域单独设计一个。再用一个水平集合方法(a level set method)的应用来同时确定这三个区域。之后又提出了一种trimap 分割,采用一个基于优化策略的迭代图分割同时确定三个区域。 随着流媒体和当今电影电视技术的发展,将digital matting技术应用于视频图像中运动对象的提取也逐渐多起来,这在电影特技中会有广泛的应用。如何有效地将这个技术应用于视频图像的对象分割,是我正在研究的。对alpha matting 有研究的朋友,不妨交流一下 |
什么是alpha matting?
最新推荐文章于 2021-07-08 10:01:11 发布