学习笔记——Transductive Segmentation of Live Video with Non-stationary Background（1）

        首先，文章揭示了以前的分割方法中默认的属性——即认为待处理的图像处于静止状态，从而忽略了前景物体移动带来的动态阴影和摄像机抖动的影响。此前也有人做过类似的研究，但提出的解决方案都是基于获取一个预先构建的背景图像，通过这种背景图像去矫正处理图像，这对于移动的摄像机来说显然是难以满足的。

        为了解决这一问题，作者首先提出一种连续性假设并认为这种假设具有相当的普适性：在图像中相邻帧的配准像素，图像（猜测是指坐标）和颜色空间都不会出现大的偏移。同时，作者指出，这种普适性也具有一定局限：对前一帧的图像分割不能很好的推广到下一帧（至少文中提到的两种不行，一种利用三维视频立方体的连续性的方法不适合在线分割，一种仅由从标记视频中学习到的4个统计转移概率不够准确）。因此，作者提出了自己的思路：通过局部颜色分布和时间先验完成的实时传播分割算法。这也就是作者这篇文章提出的三个成果之一。

    作者指出，在传统方法中，习惯采用如下公式：

去描述区域分割，E1是选择i像素值为αi的测量损失，E2是先验引入的对于颜色和运动的知识。通过min-cut可以较快的最小化E(α)，但是对于在线视频处理还远远不够。在比较了传统算法的缺点（使用高斯混合模型(GMMs)去构建全局颜色分布（GCD）的方法速度太慢且不能提供足够信息，使用局部颜色分布(LCD)计算成本高）后，作者提出了快速局部核密度估计(FLKDE)方法，这种方法能够在快速即时构建LCD的同时结合了先验的时间参数，在前文提到的相似性假设成立时有着较好表现。

        考虑到某些区域在相邻帧间变化较大而难以将有效信息传播，作者又改进的提出了动态全局KDE(DGKDE)，这种方法将全局内容纳入计算，可以动态调整采样帧的权重。但是从文中的演示可以看出，这两种方法各自具有独特的误差区域，因此还需要将这两种算法综合计算，最后得出分割区域。

        对于KDE的计算方法其实并不复杂，通过构建一个8*8*8的颜色直方图，将|Bi|作为落入Bi的样本数量，将色彩空间想象成一个三维坐标中由RGB表示XYZ的坐标系，直方图就是一个边长为8的正方体，每一个1*1*1的方块代表一种颜色，将一个方块及其周围26个方块作为一组（不会选取边界点作为中心），将这27个|Bi|分别乘上一个关联于对应方块到该组中心方块的距离的权重系数并加和，获得的值除以h*h*h*|S|，其中h为颜色空间的带宽8，S为总样本个数（可以理解成图像像素数），最后获得的值即为对颜色空间中一点x在样本s中的概率密度函数。直观上，KDE就是将传统的颜色概率密度从一个点变成了27个点的综合权重和，使得将相邻颜色纳入中心点颜色的计算中。

        虽然KDE选取了多个方块计算，但实际映射到图像中其实只对应一个点（和一个对应的颜色），将这个点作为x，以x为中心画出一个取样窗。将S分为前景和背景，那么x关于前景的时间先验的概率密度函数（pdf）可以表示为x在样本Sf的pdf与f在样本Sf与Sb并集的pdf之积，如下图

注意，第二项的分割是通过时间先验引入的。由于f在样本Sf与Sb并集的pdf之积实际为前景比全景，经过化简后得到上式展开为：

同理得出背景公式，这样就产生了LKDE(Local KDE)，其概率即为前景pdf/（背景pdf+前景pdf）。

        在LKDE的基础上，我们下面就可以进一步推导出最终的FLKDE了，这一步更多是计算策略而非数学。为了减轻计算负担，运用了两种策略。第一，采用滑动窗方式构建局部直方图，大大降低了需要采集的数据量。第二，采用蛇形扫描，只增减滑动方向上的数据。（前面提到KDE会避免选取边缘点，在这里也用边缘填充的方法一并解决了）