前景提取算法调研

前景提取算法调研
总结：

前景提取算法，主要是用于在摄像监控中，从视频流数据中剔除不需要分析的背景部分，从而提升算法对视频分析的效果。在前景提取中主要分为两大类，一个是静态的前景提取：即摄像头是固定不动的相对的背景基本是不变化的，另一个时动态前景提取：即摄像头是追踪某个运动的物体背景是随着追踪的物体进行变化的。在本文中，主要是分析静态前景提取的方法。

前景提取的主要有三大难点：1）视频流因光线等因素导致的背景缓慢的变化，例如天空飘过一朵云导致光线变暗2）视频流中的突发情况，例如在原本开灯的场景，突然把灯关掉3）ghost，例如：在视频初期就有个车子在摄像头中，会默认车子为背景，而把车子移动之后的地方视为前景。

前景提取方法主要分为三大类：背景建模，帧差法，光流法。

背景建模

高斯建模：分为单高斯模型，混合高斯模型，以及滑动高斯平均。三者的主要思想都是一样的，其中，最初的为单高斯模型，混合高斯模型是在建模的时候使用混合高斯，滑动高斯模型是在混合高斯模型的基础上增加了平均值的计算。

主要思想：对于每一个像素点，都假定如果是背景的话，会服从一个高斯分布的变化，即其变化的概率分布应该是满足高斯模型的，因此以上一帧为基础，构建对每一个像素构建其高斯模型，然后在计算下一帧这个像素的值在此情况下是背景的概率。

混合高斯模型，只是假设是服从混合高斯的分布。

滑动高斯平均，是表明在某一端时刻服从一个混合高斯分布，存在一个滑动平移的过程。

混合高斯模型具体建模过程

对场景中所有像素点进行高斯建模,第N个像素的模型如下：
$$p({\mathbf{x}}_N)=\sum _{j=1}^K{w}_j\eta ({\mathbf{x}}_N;{\theta }_j)$$
其中$w_k$是第k个高斯模型的权重。
$$\eta (\mathbf{x};{\theta }_k)=\eta ({\mathbf{x}}_N;{\mu }_k,{\Sigma }_k)$$
因为假设，输入的红，绿，蓝三色之间关系是独立的，所以
$${\Sigma }_k={\sigma }_2^{k}I$$
对K个高斯模型按照$w/\sigma$进行排序，$w$高代表着该模型的置信度越大，$\sigma$低代表着模型的波动越小。
设置一个最小的衡量权重T,如果前b的$w_k$的权重之和大于T，则取前b个为背景模型，具体公式如下：
$$B=argmi{n}_b(\sum _{k=1}^b{w}_k>T)$$
模型各个参数的更新：
$$w_{k,t}=(1-\alpha )w_{k,t-1}+\alpha (M_{k,t})$$
如果第k个像素与模型匹配，M_{k,t}=1不然为0
匹配的定义为：若像素的值在2.5倍的标准差之内，则认定为匹配(原文中用的是match)
对于一个新的观测到的像素，模型的均值和方差变化情况如下：
$${\mu }_t=(1-\rho ){\mu }_{t-1}+\rho X_t$$
$${\sigma }_t^2=(1-\rho ){\sigma }_{t-1}^2+\rho$$
$$\rho =\alpha \eta (X_t|{\mu }_k,{\sigma }_k)$$