遗留物检测算法---双背景消除法和时空回溯验证

Abandoned Object Detection via Temporal Consistency Modeling and Back-Tracing Verification for Visual Surveillance

摘要

       本文提出了在监控视频下的遗留物检测算法，作者把long-term 和 short-term的背景模型结合在监控视频视频中提取前景目标。最后对提取的前景目标进行有限状态机（Pixel-Based Finite State Machine ）和遗留物主人的轨迹回溯法(Back-Tracing)联合判断前景目标是否为遗留物。

一、双学习率的背景消除算法( Temporal Dual-rates foreground Integration Method)

1、双高斯模型的背景消除算法

       背景消除算法用来得出图片的前景物体(foreground), 有限状态机用于判断前景物体是否为遗留物。

A. 背景建模和模型更新策略

图1：GMM背景建模输出的检测结果

       首先, 需要对监控的视频环境进行建模,使用混合高斯模型GMM对监控的背景进行建模学习监控下的背景信息.混合高斯模型：

       一般的高斯模型通过极大似然法来求解最优值(通常根据定义的表示特征需要混合3-5个高斯模型,根据EM算法(极大化Jensen不等式的lower bound)对高斯模型的参数进行学习)。
       但是本文的背景建模的GMM模型的策略采用了Improved Adaptive Gaussian Mixture Model for Background Subtraction文中的GMM学习方式，自适应更新混合高斯模型的个数和高斯模型的参数。其更新方式如下：

•     1. 初始化一个背景模型$B(x,y)$；其中$(x,y)$代表图像的每个像素点，$0\le x\le m-1,0\le y\le n-1$。
•     2. 对于一张图像$I_t$的每个像素点$(x,y)$，如果$I_t(x,y)\subseteq B(x,y)$ 就表示图像$I_t$的像素点$(x,y)$属于背景（BG)，否则像素点$(x,y)$就是图片的前景（FG）。
•     3. 如果独立的像素点$(x,y)$是图片的背景，那么需要把点$I_t(x,y)$作为训练样本更新我们的背景模型$B(x,y)$。
•     4. 更新下一张图片$t=t+1$, 重复步骤2。

       其中通过对步骤3中学习率$\lambda \in [0,1]$的调整来控制$\lambda B$和$(1-\lambda )I_t$的偏好。如果$\lambda$的值较小，模型$B$对新的训练样本$I_t$的学习速度就很快，高斯模型对新的样本适应很快（当FG物体静止较短时间后GMM就会快速适应，并在接下来识别成背景），反之若$\lambda$的值较大，那么高斯模型对新的样本适应较慢（只有当FG停留很长的时间，模型才能判定其为背景）。

B. 静止物体检测-----长（Long-Term）短（Short-Term）时双背景建模

图2：长短时背景建模的静止FG物体检测流程

       长短时背景建模的核心就是对GMM模型使用不同的学习率$\lambda$。从之前的对$\lambda$讨论中可以发现GMM模型的学习率越大，模型更新速度越慢，从而对静止的FG物体越不敏感。所以我们把使用小的学习率${\lambda }_S$背景模型称为Short-term短时背景模型$B_S$，同时其模型输出的二值背景图片记作$F_S$。相似的把较大的学习率${\lambda }_L$的背景模型称为Long-term长时背景模型$B_L$,同时其模型输出的二值背景图片记作$F_L$。长短时背景检测模型的结果如图3所示：

图3：Long-term和Short-term背景模型检测结果

       Short-term模型对新的图片的适应性很强会把静止的FG很快分类成BG背景，而Long-term模型对新的图片的适应性很较弱不会立刻把静止FG物体分类成BG信息。而静止的FG物体检测的核心是利用两个模型的输出的差来实现静止FG检测。具体流程如图2所示。对于FG的检测来说long-term长时模型会检测更多的FG信息（最直观的理解：long背景模型物体待的时间越long才是BG背景，short背景模型物体带的时间较短就可以是BG背景）。
       对于一个图片的像素点$i$，我们定义了$S_i$表示当前像素点长短时双背景模型的输出值：

$S_i$ $=F_L(i)\ast F_S(i)$

其中，$F_S(i)$ 和$F_L(i)$ 都属于[0,1]，都表示一个二值的像素点。 对于双背景消除法的输出值$S_i$ 有四种情况如下表所示：

$S_i$	像素点$i$的意义
00	长时模型检测为BG，短时模型检测模型为BG-> 背景像素BG
01	长时模型检测为BG，短时模型检测模型为FG-> 突然暴露的背景像素BG${}^{\ast }$
10	长时模型检测为FG，短时模型检测模型为BG-> 候选的静止FG
11	长时模型检测为FG，短时模型检测模型为FG-> 移动中的FG

*注(原论文的注释为这个像素点在图像中之前被物体遮挡然后才在接下来的图片中暴露出来， 个人理解：一个FG物体在这个像素点静止了一小会long模型没适应而short适应了即S=1，0，但是时间很短然后就离开了导致S=0, 1)

2、有限状态机（Pixel-Based FSM)

图4：静止FG物体判断的FSM有限状态机

       对于已经建模好了的双背景模型，其$S_i$初始状态主要包含有两个（11,00)。对于静止FG的定义中首先是移动的状态下停下并静止下来一段时间，所以FSM的触发条件为物体都是运动的FG前景$S_i=11$， 然后物体静止下来状态就需要进入$S_i=10$。如果物体静止的时间大于$T_s$，则判定其为静止的FG物体。注（如果物体静止的时间较短long没适应：11-10-01-00， 时间满足条件：11-10-00（这个状态下可能包含有遗留物的丢弃和背景捡走过程？）；在验证的时候刚丢掉的物体突然被移动的物体遮挡了会不满足FSM）。具体过程见图4。

       综上FSM规则是：如果连续子序列$S_i$需要以11为触发状态，然后有足够长的时间序列$S_i=1,0$，我们才能判定这个像素点为静止FG像素点。同时考虑到遗留物的特征，对于检测到的静止FG像素点blobs设置一个阈值，既不能太小，同时不能太小。到此为止才能把检测出来的静止FG作为候选的遗留物信息。

二、回溯跟踪验证（Back-Tracing Verification）

图5：遗留物主人的跟踪验证

       为了验证静止的FG是否是被遗留的物体还是仅仅放在这边一段时间（之后拿走！）。如果静止的FG物体的丢弃者不再返回到物体附近，那么这个物体就被判断成遗留物。具体的回溯验证流程如下：
       当一个物体或者一个blob在FSM中在$t$时刻被判定为静止的FG物体后而且在这个FG的周围$D$的范围内没有移动的物体后（注意这个条件），我们回溯到视频的第$t_0$帧数（$t_0=t-T_s$)并假设在这一帧物体被人遗留。在$t_0$帧的图片上我们创建一个时空范围$W_0$（spatial-temporal window），$W_0$以$t_0$帧图片的遗留物物体的中心点$p$为圆心大小为$(r^2,\delta )$，其中$r$为当前图片上的半径 ，$\delta$为时间范围$[t_0,t_0+\delta ]$。
       对于时空范围$W_0$我们重新审视在这个范围内的全部FG物体（blob)。我们使用合适的人形状的高宽估计和检测人的算法(Deformable Part Model)在blobs中检测人来判定遗留物的主人。如果在$W_0$的空间中我们检测到了多个人直接使用离遗留物中心点$p$最近的人判定其为遗留物的主人并把$W_0$空间中的这个blob记录为$p1$。
       下一步我们利用$p1$为中心再创建一个时空范围$W_1$其范围也为$(r^2,\delta )$。然后利用我们在$W_0$中找到的遗留物主人的颜色特征（颜色直方图）在$W_1$时空范围中blobs寻找最相似的blob（e Bhattacharyya coefficient巴氏系数作为判断依据）。最后找到另一个$p2$创建时空范围$W_2$。重复上述步骤直到我们找到的时间超过$t$。完成这些后我们就实现了在$\delta$范围内对遗留物主人的跟踪。优点：更有效的解决人被短暂的遮挡的问题而且由于时间范围的有效性所以该方法也的效率也很高。图5展示了本算法对遗留物主人的跟踪效果。

之前的文章中验证了双背景消除法检测的遗留物会带来很多的误报，所以本文了提出一种回溯验证的方法，主要是去寻找遗留物的owner的信息来辅助判断。

三、遗留物事件分析（ Abandoned Object Event Analysis）

图5：遗留物时间分析的全部流程

       图5展示了遗留物检测事件的全部流程，一旦遗留物的主人的轨迹被侦测到，然后我们会根据以下连两个规则进行判断然后进行是否报警行为。

       1.时序规则（Temporal rule）：一个遗留物被人遗弃时间上要超过$T=30s$以上。否则不算遗留物。通常$T=30s$可以使用$T=30fps$来计算
       2.空间规则（Spatial rule）：遗留物的定义是被人给遗留的物体而且遗留物不会被立马捡起来。所以在空间上遗留物和其主人的距离需要达到$D=3m$以上报警事件才会触发。