混合高斯模型原理和Lucas-Kanade方法介绍

运动估计之混合高斯模型原理和Lucas-Kanade方法介绍

1. 简述混合高斯模型的基本原理，以及通过混合高斯模型进行背景建模的基本思想。
背景建模的思想：利用帧之间的像素变化来进行判断，像素灰度值变化较大的是前景（或者说是移动目标），反之为背景。
帧差法的两个问题：1.移动目标的重合会出现空洞问题，不利于对目标的特征分析。2.帧之间的噪声放大。

现在不再局限于两帧之间，而是取取一段时间的内的所以帧来慢慢训练我们的模型。

混合高斯模型的原理：在一段时间内，我们依次统计同一个像素点（位置），记录下在这段时间内该像素点所取的灰度值。以时间轴为横轴，灰度值为纵轴来描述一个像素点，满足凸线条状的高斯函数。

任何一种分布函数都可以看作是多个高斯函数的线性加权组合，同一个区域上可能既有前景的值又有背景的值，这时候就组成最简单的混合高斯模型了。通常来说，混合高斯模型不会只包括两个高斯分布，而是有3-5个高斯分量。随着时间的推移，该像素点会有新的像素值加入到模型中，对高斯分量的权重引起变化，因为前景的变化时间短，而背景基本不会变化，久而久之，权重会越来越大，移动目标和背景之间的区分越来越明显。把图像中所有的像素都加入混合高斯模型中，则会拼出完整的背景。

2. 解释光流计算中的恒定亮度假设，进一步简述L-K光流估计方法的基本原理。

光流的概念是Gibson在1950年首先提出来的。它是空间运动物体在观察成像平面上的像素运动的瞬时速度，是利用图像序列中像素在时间域上的变化以及相邻帧之间的相关性来找到上一帧跟当前帧之间存在的对应关系，从而计算出相邻帧之间物体的运动信息的一种方法。一般而言，光流是由于场景中前景目标本身的移动、相机的运动，或者两者的共同运动所产生的。

简单来说，光流是空间运动物体在观测成像平面上的像素运动的“瞬时速度”。光流的研究是利用图像序列中的像素强度数据的时域变化和相关性来确定各自像素位置的“运动”。研究光流场的目的就是为了从图片序列中近似得到不能直接得到的运动场。

Lucas-Kanada即L-K光流法最初于1981年提出，该算法假设在一个小的空间邻域内运动矢量保持恒定，使用加权最小二乘法估计光流。由于该算法应用于输入图像的一组点上时比较方便，因此被广泛应用于稀疏光流场，L-K算法的提出是基于以下三个假设： (1) 亮度恒定不变。目标像素在不同帧间运动时外观上是保持不变的，对于灰 度图像，假设在整个被跟踪期间，像素亮度不变。 (2) 时间连续或者运动是“小运动”。图像运动相对于时间来说比较缓慢，实际 应用中指时间变化相对图像中运动比例要足够小，这样目标在相邻帧间的运动就比较小。 (3) 空间一致。同一场景中同一表面上的邻近点运动情况相似，且这些点在图像上的投影也在邻近区域。

1.对于假设条件：

（1）亮度恒定，就是同一点随着时间的变化，其亮度不会发生改变。这是基本光流法的假定（所有光流法变种都必须满足），用于得到光流法基本方程；

（2）小运动，这个也必须满足，就是时间的变化不会引起位置的剧烈变化，这样灰度才能对位置求偏导（换句话说，小运动情况下我们才能用前后帧之间单位位置变化引起的灰度变化去近似灰度对位置的偏导数），这也是光流法不可或缺的假定；

（3）空间一致，一个场景上邻近的点投影到图像上也是邻近点，且邻近点速度一致。这是Lucas-Kanade光流法特有的假定，因为光流法基本方程约束只有一个，而要求x，y方向的速度，有两个未知变量。我们假定特征点邻域内做相似运动，就可以连立n多个方程求取x，y方向的速度（n为特征点邻域总点数，包括该特征点）。

2.对于方程求解

多个方程求两个未知变量，又是线性方程，很容易就想到用最小二乘法，事实上opencv也是这么做的。其中，最小误差平方和为最优化指标。

3.对于前面说到了小运动这个假定，如果目标速度很快该怎么办呢？幸运的是多尺度能解决这个问题。首先，对每一帧建立一个高斯金字塔，最大尺度图片在最顶层，原始图片在底层。然后，从顶层开始估计下一帧所在位置，作为下一层的初始位置，沿着金字塔向下搜索，重复估计动作，直到到达金字塔的底层。这样搜索不仅可以解决大运动目标跟踪，也可以一定程度上解决孔径问题（相同大小的窗口能覆盖大尺度图片上尽量多的角点，而这些角点无法在原始图片上被覆盖）。

在另外查阅资料的时候，发现了Lucas-Kanade光流估计在《Learning OpenCV》第10章中描述的比较详细，以下也附图，以作参考。