opencv3/Python 稠密光流calcOpticalFlowFarneback

光流是由物体或相机的运动引起的图像对象在两个连续帧之间的视在运动模式.光流方法计算在t和 $t + \Delta t$时刻拍摄的两个图像帧之间的每个像素的运动位置。这些方法被称为差分，因为它们基于图像信号的局部泰勒级数近似; 也就是说，它们使用关于空间和时间坐标的偏导数。

和稀疏光流相比,稠密光流不仅仅是选取图像中的某些特征点(一般用角点)进行计算;而是对图像进行逐点匹配,计算所有点的偏移量,得到光流场,从而进行配准.因此其计算量会显著大于稀疏光流,但效果一般优于稀疏光流.

函数:

def calcOpticalFlowFarneback(prev, next, flow, pyr_scale, levels, winsize, iterations, poly_n, poly_sigma, flags):

使用Gunnar Farneback算法计算密集光流。

相关参数:

• prev 输入前一帧图像(8位单通道);
• next 输入后一帧图像(与prev大小和类型相同);
• flow 计算的流量图像具有与prev相同的大小并为CV_32FC2类型;
• pyr_scale 指定图像比例（\ <1）为每个图像构建金字塔; pyr_scale = 0.5意味着一个古典金字塔，其中每个下一层比前一层小两倍。
• levels 金字塔层数包括初始图像; levels = 1意味着不会创建额外的图层，只会使用原始图像。
• winsize 平均窗口大小;较大的值会增加算法对图像噪声的鲁棒性，并可以检测更快速的运动，但会产生更模糊的运动场。
• iterations 每个金字塔等级上执行迭代算法的迭代次数。用于在每个像素中查找多项式展开的像素邻域;
• poly_n大小;较大的值意味着图像将近似于更光滑的表面，产生更稳健的算法和更模糊的运动场，一般取poly_n = 5或7。
• poly_sigma用于平滑导数的高斯的标准偏差，用作多项式展开的基础;对于poly_n = 5，可以设置poly_sigma = 1.1，对于poly_n = 7，可以设置poly_sigma = 1.5;
• flags 操作标志，可取计算方法有：
  OPTFLOW_USE_INITIAL_FLOW 使用输入流作为初始流近似。
  OPTFLOW_FARNEBACK_GAUSSIAN 使用Gaussian ${winsize} \times {winsize}$过滤器代替光流估计的相同大小的盒子过滤器;通常情况下，这个选项可以比使用箱式过滤器提供更精确的流量，代价是速度更低;通常，应将高斯窗口的胜利设置为更大的值以实现相同的稳健性水平。

示例:

#!/usr/bin/python
# coding:utf8

import numpy as np
import cv2

step=10

if __name__ == '__main__':
    cam = cv2.VideoCapture(0)
    ret, prev = cam.read()
    prevgray = cv2.cvtColor(prev, cv2.COLOR_BGR2GRAY)

    while True:
        ret, img = cam.read()
        gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)
        # 使用Gunnar Farneback算法计算密集光流
        flow = cv2.calcOpticalFlowFarneback(prevgray, gray, None, 0.5, 3, 15, 3, 5, 1.2, 0)
        prevgray = gray
        # 绘制线
        h, w = gray.shape[:2]
        y, x = np.mgrid[step / 2:h:step, step / 2:w:step].reshape(2, -1).astype(int)
        fx, fy = flow[y, x].T
        lines = np.vstack([x, y, x + fx, y + fy]).T.reshape(-1, 2, 2)
        lines = np.int32(lines)

        line = []
        for l in lines:
            if l[0][0]-l[1][0]>3 or l[0][1]-l[1][1]>3:
                line.append(l)

        cv2.polylines(img, line, 0, (0,255,255))
        cv2.imshow('flow', img)

        ch = cv2.waitKey(5)
        if ch == 27:
            break
    cv2.destroyAllWindows()