AI-19第三周基础作业

AI-19第三周基础作业

1. 简述混合高斯模型的基本原理，以及通过混合高斯模型进行背景建模的基本思想。

混合高斯模型
混合高斯模型使用K（基本为3到5个）个高斯模型来表征图像中各个像素点的特征,在新一帧图像获得后更新混合高斯模型,用当前图像中的每个像素点与混合高斯模型匹配,如果成功则判定该点为背景点, 否则为前景点。通观整个高斯模型，他主要是由方差和均值两个参数决定，对均值和方差的学习,采取不同的学习机制,将直接影响到模型的稳定性、精确性和收敛性。

混合高斯模型进行背景建模的基本思想
像素灰度值随时间变化符合高斯分布

如果

则为前景，否者为背景
任何一种分布函数都可以看做是多个高斯分布的组合

混合高斯背景建模步骤
(1)模型初始化 将采到的第一帧图像的每个象素的灰度值作为均值，再赋以较大的方差。初值Q=1, w=1.0。
(2) 模型学习 将当前帧的对应点象素的灰度值与已有的Q个高斯模型作比较，若满足 ，则按上页方式调整第q个高斯模型的参数和权重；否则转入(3)：
(3) 增加/替换高斯分量 若不满足条件，且q<Q，则增加一个新分量；若q=Q，则替换
(4) 判断背景
(5) 判断前景

2. 解释光流计算中的恒定亮度假设，进一步简述L-K光流估计方法的基本原理。

光流估计概念：
(Optical flow or optic flow)它是一种运动模式，这种运动模式指的是一个物体、表面、边缘在一个视角下由一个观察者（比如眼睛、摄像头等）和背景之间形成的明显移动。
​ 光流技术，如运动检测和图像分割，时间碰撞，运动补偿编码，三维立体视差，都是利用了这种边缘或表面运动的技术。
​ 二维图像的移动相对于观察者而言是三维物体移动的在图像平面的投影。
​ 有序的图像可以估计出二维图像的瞬时图像速率或离散图像转移。

但是L-K有三个前提假设条件：
(1) 亮度恒定：一个像素点随着时间的变化，其亮度值（像素灰度值）是恒定不变的。这是光流法的基本设定。所有光流法都必须满足。（也就是说，一个物体当前的像素灰度值是恒定的，不改变的，光照不改变的情况下来进行）
(2) 小运动： 时间的变化不会引起位置的剧烈变化。这样才能利用相邻帧之间的位置变化引起的灰度值变化，去求取灰度对位置的偏导数。所有光流法必须满足。
(3) 空间一致：即前一帧中相邻像素点在后一帧中也是相邻的。这是LK光流法独有的假定。因为为了求取x,y方向的速度，需要建立多个方程联立求解。而空间一致假设就可以利用邻域n个像素点来建立n个方程。

L-K光流估计方法的基本原理：
在亮度恒定，位移变化小，空间一致的相邻两帧图像中，找出位移后的像素值，主要是通过当前位置亮度在x和y方向，以及在相邻两帧中的灰度变化值来估计x和y变化了多少y，主要的方法是将图像进行缩小，只有缩小到足够小，才可以用泰勒展开，对缩小后的图片第一次LK得到位移值，然后按照一定的倍数放大当前采集到的位移值，再进行LK，重复此操作，直到达到原图的像素值时停止分层，得到最终的位移像素。

​ 这个算法是最常见，最流行的。它计算两帧在时间t 到t + δt之间每个每个像素点位置的移动。 由于它是基于图像信号的泰勒级数，这种方法称为差分，这就是对于空间和时间坐标使用偏导数。

金字塔L-K方法

针对目标运动很快的情况，用原始的L-K方法就没有办法处理了， 需要采用图像金字塔的方法。把图像从小到大的顺序排列。
​ 金字塔特征跟踪算法描述如下：首先，光流和仿射变换矩阵在最高一层的图像上计算出；将上一层的计算结果作为初始值传递给下一层图像，这一层的图像在这个初始值的基础上，计算这一层的光流和仿射变化矩阵；再将这一层的光流和仿射矩阵作为初始值传递给下一层图像，直到传递给最后一层，即原始图像层，这一层计算出来的光流和仿射变换矩阵作为最后的光流和仿射变换矩阵的结果。