目标跟踪与定位学习笔记5-时间滑动窗口原理

首先提出一个问题，目标跟踪的流程是什么样的或者说怎么去实现目标追踪？
这里结合老师的讲解，具体流程如下：给定第M帧图像，在M+1帧上结合M帧的位置在其周围邻域内进行搜索，通过交叉相关衡量检测框与模板框的相似度，在有限的穷举之后选择前后两帧相关程度最大的作为目标的下一个运动点，然后将前后两帧的位置进行连接就会形成一个短小的目标轨迹，以此类推，目标的运动轨迹就出现了，这也就是时间滑动窗口的原理。
在此引入两个概念，交并比（IoU）和非极大抑制（NMS）
在目标追踪时，生成候选样本的速度会直接决定跟踪系统表现的优劣。常有两种方法：粒子滤波和滑动窗口，在此关注滑动窗口的原理表示。

借鉴CSDN大佬的博客：

简单来说，就是一个框在图片上跃动，就看框里面有没有你要找的目标，有就可以。其实就是用不同大小的图在图片上从左到右从上到下的搜索，找到你想要的目标，因为目标大小不一样， 所以很多时候你看你需要很多尺寸的框来搜索，所以基本都是穷举法知道找到合适的为止。

首先引出两个概念：交并比（IoU）

在讨论目标检测过程中，我们首先得保证预测结果是正确的，这里采用IoU（Intersection over Union）表示，这个标准可以作为评价边界框正确性的度量指标。交并集的选择，我们选用gound truth和预测框放在一起，对于每个类，预测值和gound truth重叠的部分就是交集，横跨的总区域就是并集。IoU的计算方法就是
$$\begin{gathered} J(A,B)=\frac{|A\bigcap B|}{|A\bigcup B|}=\frac{|A\bigcap B|}{|A|+|B|-|A\bigcap B|} \\ IoU=\frac{相交/重叠区域}{两个Box的合并区域} \end{gathered}$$
非极大抑制（NMS）

简单理解就是把不是最大的给扔了，具体就是说把很多重叠的框按照分类分数排个序，取出最高的那个，把一些和他交并比大的给抛弃了，当然是有一个阈值的，然后剩下的一些继续做非极大抑制,直到全部处理完，最后留下的既是分类分数高的，又是框比较合适的窗口，如下图：

通过滑窗法流程图可以很清晰理解其主要思路：首先对输入图像进行不同窗口大小的滑窗进行从左往右、从上到下的滑动。每次滑动时候对当前窗口执行分类器**(分类器是事先训练好的)。如果当前窗口得到较高的分类概率，则认为检测到了物体。对每个不同窗口大小的滑窗都进行检测后，会得到不同窗口检测到的物体标记，这些窗口大小会存在重复较高的部分，最后采用非极大值抑制(Non-Maximum Suppression, NMS)**的方法进行筛选。最终，经过NMS筛选后获得检测到的物体。

滑窗法简单易于理解，但是不同窗口大小进行图像全局搜索导致效率低下，而且设计窗口大小时候还需要考虑物体的长宽比。所以，对于实时性要求较高的分类器，不推荐使用滑窗法。

这里在引用一种选择搜索的方法：

滑窗法类似穷举进行图像子区域搜索，但是一般情况下图像中大部分子区域是没有物体的。学者们自然而然想到只对图像中最有可能包含物体的区域进行搜索以此来提高计算效率。选择搜索方法是当下最为熟知的图像bouding boxes提取算法，由Koen E.A于2011年提出，具体详见论文。下面大致说一下选择搜索算法的过程：

选择搜索算法的主要观点：图像中物体可能存在的区域应该是有某些相似性或者连续性区域的。因此，选择搜索基于上面这一想法采用子区域合并的方法进行提取bounding boxes候选边界框。首先，对输入图像进行分割算法产生许多小的子区域。其次，根据这些子区域之间相似性**(相似性标准主要有颜色、纹理、大小等等)**进行区域合并，不断的进行区域迭代合并。每次迭代过程中对这些合并的子区域做bounding boxes(外切矩形)，这些子区域外切矩形就是通常所说的候选框。

选择搜索优点：
　　计算效率优于滑窗法。
　　由于采用子区域合并策略，所以可以包含各种大小的疑似物体框。
　　合并区域相似的指标多样性，提高了检测物体的概率。