【视频变化检测】2017 TIP Universal Multimode Background Subtraction

2017 TIP Universal Multimode Background Subtraction

摘要：文中提出一个完整的变化检测系统，并取名为Multimode Background Subtraction。该方法可以对抗多种视频变化检测的挑战，包括光照变化，动态背景，相机抖动和运动相机。系统拥有几种创新点，体现在背景建模，模型更新，像素分类和颜色空间的运用中。系统首先创建了多个背景模型，并对每个像素对其进行了前景、背景概率估计。然后，图像像素组合为mega-piexels，这样对RGB和YCbCr两种颜色空间中的初始的概率估计进行去噪。生成的mask可以分离背景和前景，在CDnet和ESI数据集中取得了state-of-the-art的性能。

贡献：
1、对于背景减除（BS）的合适的颜色空间融合的详细分析
2、一个全新的模型更新机制
3、一个全新的基于MP空间去噪和一个动态模型选择框架，可以减少参数，提升计算速度。

创新点：
1、BS的多种颜色空间的运用
RGB是一个广泛使用的选择：a）亮度和颜色信息被均分在三个颜色空间中；b）对环境和相机噪声稳定；c）大部分的相机直出格式，避免格式转换带来的计算复杂度。
YCbCr、HSV和HSI是基于人类视觉系统（HVS）的颜色空间。这些颜色空间分为亮度和颜色信息，YCbCr为笛卡尔坐标，HSV和HSI是极坐标。虽然颜色一致性会使得BS对阴影、高亮、光照变化更为鲁棒，但不使用亮度信息会使得前景区分度不够。
通过比较，首选YCbCr，因为他对于噪声、阴影和光照变化最不敏感，其次选择RGB。
YCbCr无法处理特别黑的像素，所以在出现室内突然变黑，物体阴影出现的时候。不能过度使用YCbCr颜色空间。
作者采用，分不同的情况采用不同的颜色空间的方法。对于光照环境不好的场景，运用RGB和Y通道；对于光照良好的场景，运用YCbCr的CbCr颜色通道。在突变的光照条件下，RGB和YCbCr颜色空间互补，提供一个稳定的FG/BG分类。

2、背景模型
大多数的BG模型会采用一个多模型基于像素的统计学背景模型。这种模型有两个问题：1、非常难以决定像素概率分布函数的准确的模型数目。2、更重要的，像素间的内在联系被忽略了，将会导致不好的分割结果。
作者提出Background Model Bank，包含多个BG模型。每个训练图像背景的选定颜色空间作为一个向量，利用迭代序列聚类过程进行结合。两个背景模型的相关性测度超出预定值$\ corr\_th$，他们就会被结合，通过他们的平均值来替代。相关性测度被定义为：

Corr(p,q)=((p−μp)(q−μq)′(p−μp)(p−μp)′−−−−−−−−−−−−−√(q