【发布工具】使用Python(Opencv/Pytorch)解决稠密光流问题

项目地址：使用Opencv/Pytorch的稠密光流项目

1. 什么是OpticFlow

光流是空间运动物体在观察成像平面上的像素运动的瞬时速度，是利用图像序列中像素在时间域上的变化以及相邻帧之间的相关性来找到上一帧跟当前帧之间存在的对应关系，从而计算出相邻帧之间物体的运动信息的一种方法。一般而言，光流是由于场景中前景目标本身的移动、相机的运动，或者两者的共同运动所产生的。
由上图我们可以看出，其实光流的信息就是某个关键点在两帧图像上的位移信息，在x轴上的位移为u，在y轴上的位移为v，最终的光流表示为(u, v)。
而稠密光流则为每个像素点在x轴和y轴上的位移。

2. 稠密光流的格式

假设我们第一张图像名字为img1，大小为(256, 256, 3)，第二张图像名字为img2，并且应当与第一张图像具有同样的大小。那么，我们最终得到的光流flow的大小为(256, 256, 2)，其中，2表示每个像素点的(u, v)两个数值。、
注意，在numpy和pytorch中的格式略有不同，分别为：

• numpy：img=(256, 256, 3), flow=(256, 256, 3)；
• pytorch: img=(3, 256, 256), flow=(2, 256, 256)

3. 快速开始（Quick start）

如果我们需要得到两幅图像中的flow，我们只需要如下的代码：

import cv2
from opencv_flow import OpticFlow

of = OpticFLow(mode = 'pcaflow')

img1 = cv2.imread('test/1.jpg')
img2 = cv2.imread('test/2.jpg')
flow = of.getflow(img1, img2)

假设img1的大小和img2(256, 256, 3)，则输出flow的大小为(256, 256, 2)。**我们可以选择不同的光流估计算法，通过初始化mode参数OpticFlow(mode=“pcaflow”)，或通过setmode函数来选择不同的光流估计算法。我们可以选择的mode的名称如下(mode = 'pcaflow', 'deepflow', 'disflow', 'franeback', 'simpleflow' or 'denseflow')，对应opencv和opencv-contrib中的不同方法
而使用setmode函数的正确代码如下：

of.setmode(mode = 'pcaflow')

如果我们需要可视化稠密光流，那么我们需要输入如下的代码：

flow2img = of.show_flow_hsv(flow)
cv2.imshow('flow', flow2img)
cv2.waitKey(0)

在这里，flow2img是一个彩色图像，其大小为(256,256,3)。当然，在我们获得图像及其光流之后，我们可以预测下一帧的图像。代码如下：

img2 = of.predict_next(img1, flow)

其中，img1的大小为(256,256,3)，flow的大小为(256,256,2)，img2为灰度图像，大小为(256,256)。

4. 与Pytorch函数兼容

最新的文档请查看Wiki，我会尽量保持同步更新。

参考资料

[1] https://www.jianshu.com/p/03f358002291