花老湿学习OpenCV：Lucas-Kanade光流算法

引言：

光流(Optical flow or optic flow)是关于视域中的物体运动检测中的概念。用来描述相对于观察者的运动所造成的观测目标、表面或边缘的运动。光流法在样型识别、计算机视觉以及其他影像处理领域中非常有用，可用于运动检测、物件切割、碰撞时间与物体膨胀的计算、运动补偿编码，或者通过物体表面与边缘进行立体的测量等等。

光流测算：

 

Lucas-Kanade光流算法：

卢卡斯-卡纳德方法是一种广泛使用的光流估计的差分方法，这个方法是由Bruce D. Lucas和Takeo Kanade发明的。它假设光流在像素点的邻域是一个常数，然后使用最小二乘法对邻域中的所有像素点求解基本的光流方程。

通过结合几个邻近像素点的信息，卢卡斯-卡纳德方法(简称为L-K方法)通常能够消除光流方程里的多义性。而且，与逐点计算的方法相比，L-K方法对图像噪声不敏感。不过，由于这是一种局部方法，所以在图像的均匀区域内部，L-K方法无法提供光流信息。

基本原理：

 API：

 

 

 代码演示：

#include "pch.h"
#include <iostream>
#include "opencv2/opencv.hpp"
#include <opencv2/xfeatures2d.hpp>
#include <bitset>

using namespace std;
using namespace cv;
using namespace cv::xfeatures2d;

Mat frame;
int maxCornerNum = 500;
int maxTrackbarNum = 2000;
vector<Point2f> corners[2];
vector<uchar> status;
vector<float> err;


void detectFeature(Mat & gray);
void detectOpticalFlow(Mat& prev , Mat& gray);
int main()
{
	VideoCapture cap;
	cap.open("F:\\visual studio\\Image\\123.mp4");
	Mat gray;
	Mat prev_gray;
	namedWindow("Frame", WINDOW_AUTOSIZE);
	createTrackbar("最大角点数", "Frame", &maxCornerNum, maxTrackbarNum,0,0);
	while (1)
	{
		cap >> frame;	
		cvtColor(frame, gray, COLOR_BGR2GRAY);
		if (prev_gray.empty())
			gray.copyTo(prev_gray);
		
		detectFeature(gray);	
		detectOpticalFlow(prev_gray,gray);
		gray.copyTo(prev_gray);
		
		imshow("Frame", frame);
		while (waitKey(1) == 27)
			break;
	}

}

void detectFeature(Mat & gray)
{
	double qualityLevel = 0.01;
	double minDistance = 10;
	int blocksize = 3;
	goodFeaturesToTrack(gray, corners[0], maxCornerNum, qualityLevel, minDistance, Mat(), 3);
}

void detectOpticalFlow(Mat& prev,Mat& gray)
{
	calcOpticalFlowPyrLK(prev, gray, corners[0], corners[1], status, err, Size(21, 21), 3);
	int k = 0;
	for (int i = 0; i < corners[1].size(); i++)
	{
		double dist = abs(corners[1][i].x - corners[0][i].x) + abs(corners[1][i].y - corners[0][i].y);
		if (dist>2 && status[i])
		{
			corners[1][k++] = corners[1][i];
			circle(frame, corners[0][i], 1, Scalar(255, 0, 0), FILLED, LINE_AA, 0);
			circle(frame, corners[1][i], 2, Scalar(0, 0, 255), FILLED, LINE_AA, 0);
			line(frame, corners[0][i], corners[1][i], Scalar(0, 255, 0), 1, LINE_AA, 0);
		}
	}	
}

结果展示：