《opencv实用探索·十九》光流法检测运动目标

前言
光流法（Optical Flow）是计算机视觉中的一种技术，用于估计图像中相邻帧之间的像素位移或运动。它是一种用于追踪图像中物体运动的技术，可以在视频中检测并测量物体的运动轨迹。
光流的直观理解：
光流是一个视频中两个连续帧之间的逐像素运动估计任务。基本上，光流任务意味着计算像素的移动向量作为物体在两个相邻图像之间的位移差。光流的主要思想是估计物体运动或摄像机运动引起的物体的位移矢量

光流法基于以下两个主要假设：

灰度恒定假设（Brightness Constancy Assumption）： 在短时间内，相邻帧中的像素灰度值保持不变。这意味着在相邻帧中，同一物体的灰度值应该是相似的。

空间一致性假设（Spatial Coherence Assumption）： 邻近像素点的运动是相似的。这意味着在一个小的局部区域内，像素点的运动可以通过一个共同的运动向量来描述。

基于这些假设，光流法的目标是计算场景中每个像素点在图像平面上的运动矢量。这些运动矢量描述了像素从一帧到下一帧的位移。
在光流法的实现中，有几种不同的方法，其中最常见的是Lucas-Kanade方法和Horn-Schunck方法。
Lucas-Kanade方法： 该方法基于灰度恒定和空间一致性假设，通过在图像上的局部区域内求解一个线性方程组来计算运动矢量。它假设邻近像素点的运动是相似的，因此在局部区域内使用最小二乘法来估计运动。
Horn-Schunck方法： 该方法通过最小化整个图像上的一个全局能量函数来计算光流场。它对整个图像施加了平滑性的约束，因此在处理相对较大的运动时效果较好。

总体而言，光流法是一种有用的技术，尤其在分析视频中物体的运动、跟踪目标或检测异常事件时。然而，它的性能可能受到场景中运动的复杂性、遮挡、图像噪声等因素的影响，因此在特定应用中需要仔细考虑其局限性。

流光法检测中需要用到的一些函数说明：
（1）cv::goodFeaturesToTrack

void cv::goodFeaturesToTrack(
    InputArray image, // 输入图像（通常是灰度图像）
    OutputArray corners, // 输出参数，包含检测到的角点坐标
    int maxCorners, // 要检测的角点的最大数量
    double qualityLevel, // 角点的质量水平阈值，范围在0到1之间
    double minDistance, // 检测到的角点之间的最小欧氏距离。两个角点之间的距离小于该值的角点将被忽略。
    InputArray mask = noArray(), // 可选参数，用于指定感兴趣区域
    int blockSize = 3, // 角点检测中使用的邻域区域的大小
    bool useHarrisDetector = false, // 是否使用Harris角点检测算法，如果为false，则使用Shi-Tomasi角点检测算法
    double k = 0.04 // Harris角点检测算法的自由参数
);

cv::goodFeaturesToTrack 是OpenCV中用于在图像中检测角点的函数，通常用于计算机视觉中的光流法等任务。这个函数实现了 Shi-Tomasi 角点检测算法，该算法是对 Harris 角点检测算法的改进。
关键参数的设置说明：
maxCorners：如果设置得太小，可能会错过图像中的一些重要角点。如果设置得太大，算法可能检测到冗余的角点，导致性能下降。

qualityLevel：一般情况下设置0.01，较小的 qualityLevel 值会选择图像中质量较高的角点，即灰度梯度变化较为显著的地方。相应地，检测到的角点数量可能相对较少。这个设置适合于希望选择图像中明显特征的情况，例如在纹理较强的区域选择角点。较大的 qualityLevel 值会放宽对角点质量的要求，接受更多的角点，即使它们的质量不太高。这个设置适合于希望检测到更多角点，即使它们的特征不如较高质量的角点明显的情况。

minDistance： 选择通常取决于图像中角点的分布情况。如果图像中的角点密集分布，可以选择较小的值，例如 5-10 像素。如果角点分布较稀疏，可以适当增大该值。

（2）calcOpticalFlowPyrLK（Lucas-Kanade光流算法）

void cv::calcOpticalFlowPyrLK(
    cv::InputArray prevImg,
    cv::InputArray nextImg,
    cv::InputArray prevPts,
    cv::InputOutputArray nextPts,
    cv::OutputArray status,
    cv::OutputArray err,
    cv::Size winSize = Size(21, 21),
    int maxLevel = 3,
    cv::TermCriteria criteria = TermCriteria(TermCriteria::COUNT + TermCriteria::EPS, 30, 0.01),
    int flags = 0,
    double minEigThreshold = 1e-4
);

calcOpticalFlowPyrLK 是 OpenCV 库中用于光流计算的函数之一，用于在两幅图像之间计算稀疏特征点的光流。
prevImg: 先前帧的输入图像（灰度图）。
nextImg: 下一帧的输入图像（灰度图）。
prevPts: 先前帧的输入特征点。
nextPts: 输出参数，包含了在下一帧中找到的对应特征点的坐标。
status: 输出参数，标志每个特征点的跟踪状态（1表示成功，0表示失败）。
err: 输出参数，包含每个特征点的误差。
winSize: 搜索窗口的大小。
maxLevel: 金字塔的最大层数。
criteria: 用于迭代优化的终止准则。
flags: 光流计算的选项。
minEigThreshold: 特征值的阈值，用于判断矩阵是否足够良好。

如果使用搜索窗口winSize怎么设置比较好？
winSize 参数的合适值取决于你正在处理的图像以及需要进行光流估计或特征跟踪的具体应用场景。这个值影响着光流算法或特征跟踪的准确性、计算效率和对运动变化的敏感度。
一般来说，winSize 的大小应该与你希望跟踪的特征尺度相匹配。以下是一些参考建议：
特征尺度大小：
对于小尺度的特征（如角点），选择一个相对较小的窗口大小可能更合适。这样可以更好地捕捉和跟踪这些特征的运动。
对于大尺度的特征（如纹理区域或物体），可能需要一个更大的窗口来更好地描述它们的运动。
运动速度和变化范围：
如果你处理的场景中物体的运动速度较快或者变化范围较大，可能需要一个更大的窗口来保证算法能够正确地捕捉到这些运动。
计算资源和实时性：
较大的窗口可能需要更多的计算资源，因此在资源受限或需要实时处理的情况下，可能需要权衡窗口大小和计算效率之间的关系。
一般情况下，使用较小的窗口大小可能对光流估计和特征跟踪有利，因为它们更灵敏，但也更容易受到图像噪声和局部变化的影响。同时，过小的窗口也可能限制了算法对大尺度运动的捕捉能力。
如果没有特定的规则来选择 winSize，可以通过实验和调整来找到最适合你的场景的值。通常，初始选择一个合理的默认值，然后通过观察跟踪结果和实际效果来进行调整。这个调整过程可能需要根据应用的具体情况进行多次迭代

光流法检测基本流程：
（1）获取两幅相邻的图像帧。这两帧图像之间的时间间隔应足够小，以便近似相邻帧之间的物体位移。对图像进行必要的预处理，例如灰度化、去噪、边缘检测等。预处理的目标是提取图像中的特征，以便在不同帧之间匹配。
（2）在两帧图像中检测特征点。常用的特征点包括角点、角落、边缘等。
（3）计算光流场：光流场表示图像中每个像素的位移向量。计算光流场的目标是找到相邻帧中每个特征点的位移。常见的光流计算方法包括：
Lucas-Kanade方法： 假设在一个小的邻域内，光流是基本一致的。通过局部的亮度梯度来估计位移。
Horn-Schunck方法： 基于全局约束的光流计算方法，考虑整个图像中的光流场。
（4）可以将计算得到的光流场可视化，以便观察物体的运动方向和速度。通常使用箭头或其他标记来表示光流向量。

代码示例：

#include <opencv2/opencv.hpp>
#include <iostream>
using namespace cv;
using namespace std;

//-----------------------------------【全局函数声明】-----------------------------------------
//		描述：声明全局函数
//-------------------------------------------------------------------------------------------------
void tracking(Mat& frame, Mat& output);

//-----------------------------------【全局变量声明】-----------------------------------------
//		描述：声明全局变量
//-------------------------------------------------------------------------------------------------
string window_name = "optical flow tracking";
Mat gray_now;	// 当前图片
Mat gray_prev;	// 预测图片
vector<Point2f> pointsPre;	// 上一帧角点集合
vector<Point2f> pointsNow;  //下一帧角点集合
vector<Point2f> pointsPreTmp;	// 一个临时容器，存放上一帧角点集合
vector<Point2f> features;	// 检测的特征
int maxCount = 500;	// 检测的最大特征数
double qLevel = 0.01;	// 特征检测的等级
double minDist = 10.0;	// 两特征点之间的最小距离
vector<uchar> status;	// 跟踪特征的状态，特征的流发现为1，否则为0
vector<float> err;


int main()
{

	Mat frame;
	Mat result;

	VideoCapture capture("1.avi");

	if (capture.isOpened())	// 摄像头读取文件开关
	{
		//获取第一帧图像并保存计算的角点
		capture >> frame;
		if (!frame.empty())
		{
			cvtColor(frame, gray_prev, COLOR_BGR2GRAY);
			//角点检测
			goodFeaturesToTrack(gray_prev, features, maxCount, qLevel, minDist);
			//存放检测的角点
			pointsPre.insert(pointsPre.end(), features.begin(), features.end());
			//临时容器在存放一份角点
			pointsPreTmp.insert(pointsPreTmp.end(), features.begin(), features.end());
		}

		while (true)
		{
			//循环采取下一帧图像
			capture >> frame;

			if (!frame.empty())
			{
				tracking(frame, result);
			}
			else
			{
				printf(" --(!) No captured frame -- Break!");
				break;
			}

			int c = waitKey(50);
			if ((char)c == 27)
			{
				break;
			}
		}
	}
	return 0;
}

//-------------------------------------------------------------------------------------------------
// function: tracking
// brief: 跟踪
// parameter: frame	输入的视频帧
//			  output 有跟踪结果的视频帧
// return: void
//-------------------------------------------------------------------------------------------------
void tracking(Mat& frame, Mat& output)
{
	cvtColor(frame, gray_now, COLOR_BGR2GRAY);

	frame.copyTo(output);

	// 添加特征点
	if (pointsPre.size() <= 10)  //如果角点的数量过少就继续添加
	{
		//角点检测
		goodFeaturesToTrack(gray_prev, features, maxCount, qLevel, minDist);
		//存放检测的角点
		pointsPre.insert(pointsPre.end(), features.begin(), features.end());
		//临时容器在存放一份角点
		pointsPreTmp.insert(pointsPreTmp.end(), features.begin(), features.end());
	}

	//Lucas-Kanade光流法运动估计（pointsNow存放的是估计下一帧gray_now图像中的特征点）
	calcOpticalFlowPyrLK(gray_prev, gray_now, pointsPre, pointsNow, status, err);

	// 保留下一帧中估计出的比较好的特征点
	int k = 0;
	for (size_t i = 0; i < pointsNow.size(); i++)
	{
		//设置跟踪点被接受的条件
		//status[i]：表示第 i 个特征点的跟踪状态，为1表示特征点的流被检测到，为0表示未检测到。
		//前后两次点的x移动距离 + y移动距离 > 2
		if (status[i] && ((abs(pointsPre[i].x - pointsNow[i].x) + abs(pointsPre[i].y - pointsNow[i].y)) > 2))
		{
			pointsPreTmp[k] = pointsPreTmp[i];   //保留了下一帧好的特征点，那么对应的上一帧同样位置的特征点重新备份到临时容器
			pointsNow[k++] = pointsNow[i];      //重新对下一帧角点容器进行更新，保存存放的都是好的特征点
		}
	}
	//重新更新两个容器长度
	pointsNow.resize(k);
	pointsPreTmp.resize(k);

	// 显示特征点和运动轨迹
	for (size_t i = 0; i < pointsNow.size(); i++)
	{
		line(output, pointsPreTmp[i], pointsNow[i], Scalar(0, 0, 255)); //画出直线起点为上一帧特征点，终点为下一帧特征点
		circle(output, pointsNow[i], 3, Scalar(0, 255, 0), -1);         //对下一帧特征点标记圆，可以明显看出运动方向
	}

	// 采集下一帧图像之前先把当前帧的结果更新到上一帧
	pointsPre = pointsNow;
	gray_prev = gray_now.clone();

	imshow(window_name, output);
}

代码分析：
（1）先采集第一帧当作上一帧，进行角点检测存放到容器
（2）进入while循环开启采集下一帧，通过Lucas-Kanade光流法估计上一帧角点在下一帧的位置
（3）筛选下一帧比较好的角点存放容器
（4）画出上一帧到下一帧路线进行显示
（5）在继续开启下一帧图像采集前把这一帧的结果更新到上一帧容器
（6）开启一个新的循环，先判断上一帧容器角点数量是否充足，不充足则添加，然后重复上述步骤

效果显示：