python opencv光流跟踪_Opencv Python版学习笔记（四）光流跟踪之Gunnar Farneback’s 算法...

Gunnar Farneback 算法是一种稠密光流算法--所有图像上的像素点的光流都计算出来，这样速度也就相对慢一些，本例中达不到实时，初略估计在5帧每秒

calcOpticalFlowFarneback(prevImg, nextImg, pyr_scale, levels, winsize, iterations, poly_n, poly_sigma, flags[, flow])

参数说明：prevImg 输入的8bit单通道前一帧图像；

nextImg 输入的8bit单通道当前帧图像；

pyr_scale 金字塔参数：0.5为经典参数，每一层是下一层尺度的一半；

levels 金字塔的层数

winsize 窗口大小

iterations 迭代次数

poly_n 像素邻域的大小，大的话表示图像整体比较平滑

poly_sigma 高斯标准差

flags  可以为下列的组合 OPTFLOW_USE_INITIAL_FLOW  OPTFLOW_FARNEBACK_GAUSSIAN

返回值为每个像素点的位移

具体可以参照opencv说明 http://www.opencv.org.cn/opencvdoc/2.3.2/html/modules/video/doc/motion_analysis_and_object_tracking.html#calcopticalflowfarneback

Opencv还提供了其它两种稠密光流跟踪法，Horn-Schunck 法 CalcOpticalFlowHS  和块匹配法 CalcOpticalFlowBM

这两种方法不支持图像金字塔匹配，不能用于跟踪大幅度的运动，而Gunnar Farneback方法支持图像金字塔，我猜测这也是此方法后加入Opencv的原因

代码及注释说明如下：

#encoding:utf-8

import numpy as np

import cv2

#import video #Opencv Python自带的读取

help_message = '''

USAGE: opt_flow.py []

Keys:

1 - toggle HSV flow visualization

2 - toggle glitch

'''

def draw_flow(img, flow, step=16):

h, w = img.shape[:2]

y, x = np.mgrid[step/2:h:step, step/2:w:step].reshape(2,-1)#以网格的形式选取二维图像上等间隔的点，这里间隔为16，reshape成2行的array

fx, fy = flow[y,x].T#取选定网格点坐标对应的光流位移

lines = np.vstack([x, y, x+fx, y+fy]).T.reshape(-1, 2, 2)#将初始点和变化的点堆叠成2*2的数组

lines = np.int32(lines + 0.5)#忽略微笑的假偏移，整数化

vis = cv2.cvtColor(img, cv2.COLOR_GRAY2BGR)

cv2.polylines(vis, lines, 0, (0, 255, 0))#以初始点和终点划线表示光流运动

for (x1, y1), (x2, y2) in lines:

cv2.circle(vis, (x1, y1), 1, (0, 255, 0), -1)#在初始点(网格点处画圆点来表示初始点)

return vis

def draw_hsv(flow):

h, w = flow.shape[:2]

fx, fy = flow[:,:,0], flow[:,:,1]

ang = np.arctan2(fy, fx) + np.pi#得到运动的角度

v = np.sqrt(fx*fx+fy*fy)#得到运动的位移长度

hsv = np.zeros((h, w, 3), np.uint8)#初始化一个0值空3通道图像

hsv[...,0] = ang*(180/np.pi/2)#B通道为角度信息表示色调

hsv[...,1] = 255#G通道为255饱和度

hsv[...,2] = np.minimum(v*4, 255)#R通道为位移与255中较小值来表示亮度

bgr = cv2.cvtColor(hsv, cv2.COLOR_HSV2BGR)#将得到的HSV模型转换为BGR显示

return bgr

def warp_flow(img, flow):

h, w = flow.shape[:2]

flow = -flow

flow[:,:,0] += np.arange(w)

flow[:,:,1] += np.arange(h)[:,np.newaxis]

res = cv2.remap(img, flow, None, cv2.INTER_LINEAR)#图像几何变换(线性插值)，将原图像的像素映射到新的坐标上去

return res

if __name__ == '__main__':

import sys

print help_message

try: fn = sys.argv[1]

except: fn = 0

cam = cv2.VideoCapture('E:\Megamind.avi')#读取视频

ret, prev = cam.read()#读取视频第一帧作为光流输入的当前帧֡

#prev = cv2.imread('E:\lena.jpg')

prevgray = cv2.cvtColor(prev, cv2.COLOR_BGR2GRAY)

show_hsv = False

show_glitch = False

cur_glitch = prev.copy()

while True:

ret, img = cam.read()#读取视频的下一帧作为光流输入的当前帧

if ret == True:#判断视频是否结束

if cv2.cv.WaitKey(10)==27:

break

gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)

flow = cv2.calcOpticalFlowFarneback(prevgray, gray, 0.5, 3, 15, 3, 5, 1.2, 0)#Farnback光流法

prevgray = gray#计算完光流后，将当前帧存储为下一次计算的前一帧

cv2.imshow('flow', draw_flow(gray, flow))

if show_hsv:

cv2.imshow('flow HSV', draw_hsv(flow))

if show_glitch:

cur_glitch = warp_flow(cur_glitch, flow)

cv2.imshow('glitch', cur_glitch)

ch = 0xFF & cv2.waitKey(5)

if ch == 27:

break

if ch == ord('1'):

show_hsv = not show_hsv

print 'HSV flow visualization is', ['off', 'on'][show_hsv]

if ch == ord('2'):

show_glitch = not show_glitch

if show_glitch:

cur_glitch = img.copy()

print 'glitch is', ['off', 'on'][show_glitch]

else:

break

cv2.destroyAllWindows()

今天发现一个Numpy函数查询的地方：http://infosec.pku.edu.cn/~dulz/doc/Numpy_Example_List.htm#head-570e1d17438adcd39f527873694bd452e2f7355f

有例程 很好用