视频图像处理

https://blog.csdn.net/jyzhang_cvml/article/details/79687248

为什么要采用这样的网络？

众所周知的CNN网络对于图像的空间域的处理具有很好的效果，在单张图像的分类分割目标检测等问题上表现出了很好的效果。很多人或许有和我之前一样的疑问，既然单张图像上做的效果已经达到state-of-art的效果，为什么还要联系时间域上的信息呢？直接将视频序列拆分成单帧图像进行处理不就可以了麽？

其实理解时间域的优势并不在于如何提高算法的效果，而是在于充分利用已有视频的信息，在有限的视频训练数据集上达到更好的效果。

简单来说，我们当前的任务是对于某一段视频序列中出现的行人进行分割。如果采用单帧图像进行分割操作，需要绞尽脑汁充分开发CNN各方面的性能，以保证仅仅通过行人的 appearance 的角度就可以达到准确的分割。往往这样的单帧图像的训练方法需要（假设）2000张具有人为标注的训练集图像。然而如果在考虑单张图像 appearance 的角度进一步融合行人的 motion 信息，如运动的规律性一致性等等，可能仅仅需要 1000 张具有人为标注的训练集图像。

所以并不是说单帧图像仅仅考虑 appearance 信息不能完成视频序列的分割，我们采用 sptio-temporal 的构架方法能够在 limited 的有标记的数据集上，充分开发CNN的性能，达到 state-of-art 的分割效果。