【笔记】Opencv光流运动物体追踪：光流描述的是图像上每个像素点的灰度的位置（速度）变化情况，光流的研究是利用图像序列中的像素强度数据的时域变化和相关性来确定各自像素位置的“运动”

注1：

帧率

        帧率（Frame rate）是以帧称为单位的位图图像连续出现在显示器上的频率（速率）。该术语同样适用于胶片和摄像机，计算机图形和动作捕捉系统。帧速率也可以称为帧频率，并以赫兹（Hz）表示。

注2：

        位图图像（bitmap），亦称为点阵图像或栅格图像，是由称作像素（图片元素）的单个点组成的。这些点可以进行不同的排列和染色以构成图样。当放大位图时，可以看见赖以构成整个图像的无数单个方块。扩大位图尺寸的效果是增大单个像素，从而使线条和形状显得参差不齐。然而，如果从稍远的位置观看它，位图图像的颜色和形状又显得是连续的。用数码相机拍摄的照片、扫描仪扫描的图片以及计算机截屏图等都属于位图。位图的特点是可以表现色彩的变化和颜色的细微过渡，产生逼真的效果，缺点是在保存时需要记录每一个像素的位置和颜色值，占用较大的存储空间。常用的位图处理软件有Photoshop（同时也包含矢量功能）、Painter和Windows系统自带的画图工具等，Adobe Illustrator则是矢量图软件。

注3：

        帧数(Frames)，为帧生成数量的简称。由于口语习惯上的原因，我们通常将帧数与帧率混淆。每一帧都是静止的图象，快速连续地显示帧便形成了运动的假象，因此高的帧率可以得到更流畅、更逼真的动画。

注4：

帧数与帧率的区别

我们知道，速率(Speed)=距离(Distance)/时间(Time)，单位为米每秒(m/s, meterspersecond, mps)；

同理，帧率(Frame rate)=帧数(Frames)/时间(Time)，单位为帧每秒(f/s, frames per second, fps)。

也就是说，如果一个动画的帧率恒定为60帧每秒(fps)，那么它在一秒钟内的帧数为60帧，两秒钟内的帧数为120帧。

注5：

人眼视觉残留

【说法1】是因为人眼的视觉残留特性：是光对视网膜所产生的视觉在光停止作用后，仍保留一段时间的现象，其具体应用是电影的拍摄和放映。原因是由视神经元的反应速度造成的。其时值是二十四分之一秒。是动画、电影等视觉媒体形成和传播的根据。

【说法2】当物体在快速运动时, 当人眼所看到的影像消失后，人眼仍能继续保留其影像1/24秒左右的图像，这种现象被称为视觉暂留现象。是人眼具有的一种性质。人眼观看物体时，成像于视网膜上，并由视神经输入人脑，感觉到物体的像。但当物体移去时，视神经对物体的印象不会立即消失，而要延续1/24秒左右的时间，人眼的这种性质被称为“眼睛的视觉暂留”。

正文：

        光流的概念是由一个叫Gibson的大佬在1950年提出来的。它描述是空间运动物体在观察成像平面上的像素运动的瞬时速度，利用图像序列中像素在时间域上的变化以及相邻帧之间的相关性来找到上一帧跟当前帧之间存在的对应关系，从而计算出相邻帧之间物体的运动信息的一种方法。那么所说的光流到底是什么鬼？

        简单来说，上图表现的就是光流，光流描述的是图像上每个像素点的灰度的位置（速度）变化情况，光流的研究是利用图像序列中的像素强度数据的时域变化和相关性来确定各自像素位置的“运动”。研究光流场的目的就是为了从图片序列中近似得到不能直接得到的运动场。
光流法的前提假设：
（1）相邻帧之间的亮度恒定；
（2）相邻视频帧的取帧时间连续，或者，相邻帧之间物体的运动比较“微小”；
（3）保持空间一致性；即，同一子图像的像素点具有相同的运动；

Opencv中金字塔LK光流实现：
 

#include "highgui/highgui.hpp"    
#include "opencv2/nonfree/nonfree.hpp"  
#include "opencv2/video/tracking.hpp"
#include <iostream>
 
using namespace cv;
using namespace std;
 
Mat image1,image2;
vector<Point2f> point1,point2,pointCopy;
vector<uchar> status;
vector<float> err;
 
int main(int argc,char *argv[])    
{   
	VideoCapture video(argv[1]); 
	double fps=video.get(CV_CAP_PROP_FPS); //获取视频帧率  
	double pauseTime=1000/fps; //两幅画面中间间隔  	
	video>>image1;
	Mat image1Gray,image2Gray;
	cvtColor(image1,image1Gray,CV_RGB2GRAY);
	goodFeaturesToTrack(image1Gray,point1,100,0.01,10,Mat());  
	pointCopy=point1;
	for(int i=0;i<point1.size();i++)    //绘制特征点位
	{		
		circle(image1,point1[i],1,Scalar(0,0,255),2);		
	}	
	namedWindow("角点特征光流",0);
	imshow("角点特征光流",image1);
	while(true)
	{
		video>>image2;
		if(!image2.data||waitKey(pauseTime)==27)  //图像为空或Esc键按下退出播放  
		{  
			break;  
		}  
		cvtColor(image2,image2Gray,CV_RGB2GRAY);
		calcOpticalFlowPyrLK(image1Gray,image2Gray,point1,point2,status,err,Size(20,20),3); //LK金字塔		
		for(int i=0;i<point2.size();i++)
		{
			circle(image2,point2[i],1,Scalar(0,0,255),2);
			line(image2,pointCopy[i],point2[i],Scalar(255,0,0),2);
		}		
		imshow("角点特征光流",image2);
		swap(point1,point2);
		image1Gray=image2Gray.clone();	
	}	
	return 0;    
}  

图像跟踪结果1：

 图像跟踪结果2：

视频流跟踪：