视频目标检测的研究 1

综述
相比于传统的目标检测，视频的目标检测就显得不一样了，因为视频的特点是，在相邻帧中往往会包含图像内容很相似，视频的背景比较单一，这样对于一段视频来说，存在大量的冗余信息，好的检测器不仅要保证每一帧图像检测结果的准确，并且还要求对于一个特定检测的类别，不因为混入其他的信息而检测不到，也就是要保证检测的时序一致性，这就要求我们充分利用视频的上下文信息和时序信息才能保证检测的质量。
传统的视频目标检测算法的主要框架：

• 将视频中每一帧作为一张独立的图像，利用图像的目标检测算法对获取检测的结果
• 利用视频的时序和上下文信息对检测结果进行修正
• 利用视频的追踪技术对检测窗口追踪轨迹对于检测结果进一步修正

单帧图像的目标检测一般就是下面的几个步骤：

• 选取训练数据
  传统的视频数据集背景比较单一，相邻帧之间的差异较小，数据集的的差异性不够，所以我们需要提高数据集的差异性，就得对数据集进行一定的扩增。
• 选取网络结构
  基于resnet的faster-rcnn 比基于VGG的精确度提高12%.
• 改进损失函数
  由于视频存在运动模糊，遮挡，使得最终的结果不够清晰，T-CNN提出了运动指导传播（Motion-guided Propagation, MGP）和多上下文抑制（Multi-context suppression, MCS）
  单帧检测会存在很多的漏检目标，可以利用光流前向后向的传播，填补漏检的目标。
  对于单个片段的视频，出现的目标比较单一，我们需要对于整个视频片段出现的目标进行一个统计，将得分最高的目标作为我们检测的目标，得分低的就可能是误检的目标，就需要抑制。
• 利用追踪信息进行修正
  首先利用图像的目标检测算法进行检测
  选择一个得分较高的目标作为起始的追踪锚点
  沿着这个起始追踪目标进行追踪，形成追踪轨迹。
  如果追踪目标消失，就再选择一个得分高的继续追踪，如果这个目标在前面出现过，就直接跳过。
  算法迭代执行，可以使用得分阈值作为终止条件。
  目标检测算法利用上下文信息的一些网络
  利用Context信息
  GBD-net
  利用双门控的CNN在不同尺度和上下文窗口中选择性的传递信息，对于context建模
  context信息可以给我们一些正确性的指导，但是同时这些信息不一定都是正面的信息，所以需要选择性的利用这些信息。这篇论文的思想就是通过放大检测框来提取上下文信息，缩小窗口来获得更多目标细节，双向连接的网络可以让不同尺度和分辨率的信息在suppoort region 之间进行传递，，因为并非所有的上下文信息都可以给决策带来正能量，所以在双向连接上都加了一个门，以此控制context信息的相互传播。
  
  Dilation as context
  360+MCG-ICG-CAS_DET团队[12]将[4]中提出的用膨胀卷积获取context信息的方法迁移至目标检测任务.将[4]中的8个膨胀卷积层削减到3层，在ROI pooling前就组织好每个像素点对应的context信息，如图4，省去了对每个ROI反复提取context特征的操作。该方法在VOC07数据集上，以Res50为基础网络，能获得1.5%的提升。

Global context
2015年[5]中提到利用ROI pooling对全图进行pooling获取context信息的方法，Hikvision团队在此基础上进一步细化，提出了图5(a)所示的global context方法，在ILSVRC DET验证集上获得了3.8%的mAP性能提升。
基于ROI pooling的global context的方法，CUImage沿用了global context 方法，为每个ROI加入了全局的分类结果信息，该方法在GDB-net局部的context基础上加上了全局的信息，进一步提高了MAP。

改进分类损失
Faster R-CNN中将所有与Ground Truth的IOU大于0.5的窗口当做正样本，IOU介于0.1~0.4之间的当做背景类别样本，正常的是目标之间的差异性很大，有时候背景变化也是多样的，这样对于背景就是不公平的，背景隐式子类别，让更多的参数去描述变化的背景，在softmax之前将所有的子类别聚合成为一个背景类、

参考文献：
https://blog.csdn.net/heyc861221/article/details/80127832