写在前面:
恰逢需要了解video相关的任务,绕不开的就是运动信息的分析,而运动信息都是通过光流法来获得的,所以学习并总结了一些博客,记录一下光流法的原理,主要还是为VAR任务中two-stream方法的启动看一些基础知识。说不定能结合光流法中提取运动信息的思想去做一些其他的事呢!!
![ce2b60e4bd3ee2feac62195281bb87d8.png](https://i-blog.csdnimg.cn/blog_migrate/95f230bf350421fd2ffaf3d8d8f37044.jpeg)
光流法:
目的:通过连续的图像序列来检测图像序列中运动物体微小的动作变化。光流在图像中的含义就是动作向量(motion vector)(u,v),其中u,v分别表示位移在x和y方向上的变化率,也就是某个位置的x分量和y分量的速度。
原理:在通用亮度假设的条件下,通过对邻帧之间的像素点进行建模,推导当前帧某个像素点在之后时间的运动方向,也就是一种预测当前像素点未来运动信息的方法。
下面通用亮度假设开始,逐步学习:
1、第一个假设通用亮度假设,假设连续帧中某一目标的像素值不变,通俗点说就是在n帧和n+1帧中,同一运动物体的亮度(像素值)保持不变,那么基于以下假设,可以进行如下推导,其中