Optical Flow学习心得

怎么通过上一帧(下一帧)图像+光流场合成下一帧(上一帧)图像
I(x,y,t)=I(x+u,y+v,t+1)：从t+1帧图像通过optical flow生成的u，v合成第t帧图像
I(x+u,y+v,t)=I(x,y,t+1)：从第t帧图像通过optical flow生成的u，v合成第t+1帧图像
*解析：
1.可以转换种思想，因为最终合成或生成的图像的坐标系必须是x,y的图像，所以只有图像的坐标位置通过光流场发生移动的那一帧图像是移动图像，而坐标位置不发生改变的图像才是新合成的图像；
2.还有个问题需要注意，因为图像的像素值是连续的，而在计算坐标的时候是离散值，所以必须要用到插值函数，弥补连续性图像的像素取值；*
**推导光流场的三个假设：
1.亮度(灰度值)恒定；
2.单独的亮度恒定不变约束容易受到图像轻微亮度改变的影响(敏感)，图像灰度值的梯度可以允许发生微小的灰度值变化时候也是属于亮度恒定的情况；
3.平滑假设：解决光流计算出现的孔径问题，优化光流场的非连续性区域(边缘)；**
参考论文和程序代码：Large Displacement Optical Flow
第一个是直接使用第二帧加上产生的光流合成第一帧图像：

第二个使用论文中的方法经过处理，可以看出经过处理后光流合成的原始图像更加精准：