混合高斯模型_1

原文链接

混合高斯模型

实际应用中，场景中的光照分为缓慢变化（白天室外）或者突然变化（室内开关灯）。场景中可以有新的物体进来，也可以有旧的物体消失。为了适应这些变化，可以更新训练集（增加新的样本，丢弃旧的样本）。选择合适的时间周期T，并在时刻t时，有训练数据集$X_T={x^{(t)},...,x^{(t-T)}}$。对于每个新的样本，我们更新$X_T$，并且重新计算$p(x|X_T,BG)$。然而，在最近的一段观测历史数据中，可能会有属于目标的像素，这个概率用$p(x^t|X_T,BG+FG)$表示。我们使用包含M个成分的GMM：

$\mu$ 都是均值，$\sigma$ 都是方差，有这个两个参数，就可以唯一确定一个高斯分布，有M个这样的高斯分布组合。协方差矩阵是对角矩阵，和单位阵I有相同的维数。加权系数$\pi$非零，而且和为1。时刻t处，给定一个新的样本$x^t$，递归更新方程如下：

其中，.这里没有使用上文提到的周期T，而是用常数$\alpha$来描述指数衰减速度，用来限制旧数据的影响。$\alpha$和T的关系是倒数关系。对于新样本，最大的加权系数的成分，而且它是’close’，$o_m^{(t)}$置为1，其他都为0。这里的’close’意思是，样本距离某个成分特别接近，也就是某个成分到样本的Mahalanobis距离，比方说小于3个标准差。从第m个成分到样本的方差的计算如下：。如果没有接近的成分，就会产生一个新的成分：。其中$\sigma_0$ 是某个初始化的方差值。如果到达了最大的成分数量，就丢弃加权系数最小的那个成分。

这个算法实际上是一个在线聚类算法。一般地，扰动的目标会用额外的聚类（加权系数比较小）表示。所以，背景模型就用前B个(按照权重从大到小排列)成分叠加来表示。

如果成分按照权重降序排列，B可以如下求得：

$c_f$是数据属于目标同时不影响背景模型的最大的那部分。例如，如果场景中新来了一个目标，而且在一段时间静止了，就可能会产生一个新增的稳定聚类。由于旧的背景被挡住了，新聚类的权重$\pi_{B+1}$会持续增加。如果对象静止的时间足够长，它的权重就可能超过$c_f$，它就被当作背景了。从(4)式可以看出，物体静止的时间至少大约是$log(1-c_f)/log(1-\alpha)$帧。例如，对于$c_f=0.1$，$\alpha=0.001$来说，物体需要静止至少105帧才能被当作背景。

选择成分的数量

$\pi_m$描述了数据属于GMM中第m个成分的可能性。这个值可以认为是样本数据来自第m个成分的概率，从这个角度上说，$\pi_m-s$定义了一个潜在的多项式分布。假定我们有t个数据样本，其中的每一个属于GMM中的一个成分。我们再假定，属于第m个成分的样本的数量为。式子中的$o_m-s$和上一节的定义相同。这个假定的多项式分布$\n_m-s$给出了似然函数：,这些权重和为1。使用拉格朗日乘子法来最大化似然函数，，求解这个式子，得到：

这个从t个样本估计得到的$\pi_m^{(t)}$,写成递归的形式如下：

如果把新样本数据的影响固定下来，即把t固定为T，就得到(4)。这个固定影响的做法，意味着我们更多的相信新样本数据，而旧的样本数据的影响会以指数衰减的形式变得不那么重要。

多项式分布的先验知识，可以通过使用它的共轭先验来表示，Dirichlet先验。系数$\c_m$有一个很好的物理意义。对于多项式分布，$c_m$代表样本中有多少属于类别m的先验判据(从最大后验概率的角度)。在[12]中我们使用负的系数$c_m=-c$。负的先验概率表示，我们只接受存在足够多判据的类别m。这种先验和最小化消息长度准则有关，后者是一种对给定数据寻找合适模型的方法[12]。同时求解极大似然和最大化后验概率，有，其中，可以得到：

其中,重写(11)得到：

是从(9)极大似然得到的估计值，同时引入由先验带来的偏置c/t，当t很大时，偏置会减小。如果小偏置也能接受的话，可以把偏置固定不变，为$c_T=c/T$。这表示，偏置会保持不变，似乎是同时对T个样本进行处理。(11)的递归表达式如下(固定偏置)：

由于M一般不大，$c_T$也不大，可以进一步近似为：

使用这个式子代替(4)（本文作者做的事情，就是这个）。每次更新后，需要归一化以保证权重和为1。GMM从单一成分开始，第一个高斯模型的均值是第一个样本的数据，后续的数据进来，就按照前面说的递归方法更新。Dirichlet先验如果是负值，就会抑制不被样本数据支持的成分。这也保证了混合权重为正。对于给定的$\alpha=1/T$，至少c=0.01*T个样本才能支撑一个成分。$c_T=0.01$。

注意到(11)的递归形式有时候并不非常实用。我们可以选取较大的t来避免较小t导致的负更新，以及先验影响的损失。这一点说明，固定先验影响蛮重要的。