Optical Flow

Optical Flow

参考博客：

https://my.oschina.net/u/3702502/blog/1815343/

一.算法了解

光流（Optical Flow）是一种研究图像对齐的算法，一般包括两大类：稀疏光流和稠密光流。顾名思义，稀疏光流就是研究图像中稀疏点的光流，这些点一般是角点；稠密光流则是研究图像中所有点的偏移量。

1.稀疏光流

2.稠密光流

由于网上有较多的解释，此处附一个百科解释

参考网址：

https://baike.baidu.com/item/Optical Flow/19180399?fr=aladdin

二.代码实现

1.基于特征点(角点)的稀疏光流：Lucas-Kanade Optical Flow

#include <iostream>
#include <opencv2/core.hpp>
#include <opencv2/highgui.hpp>
#include <opencv2/imgproc.hpp>
#include <opencv2/videoio.hpp>
#include <opencv2/video.hpp>
using namespace cv;
using namespace std;
int main(int argc, char **argv)
{
    const string about =
        "This sample demonstrates Lucas-Kanade Optical Flow calculation.\n"
        "The example file can be downloaded from:\n"
        "  https://www.bogotobogo.com/python/OpenCV_Python/images/mean_shift_tracking/slow_traffic_small.mp4";
    const string keys =
        "{ h help |      | print this help message }"
        "{ @image |<none>| path to image file }";
    CommandLineParser parser(argc, argv, keys);
    parser.about(about);
    if (parser.has("help"))
    {
        parser.printMessage();
        return 0;
    }
    string filename = parser.get<string>("@image");
    if (!parser.check())
    {
        parser.printErrors();
        return 0;
    }
    VideoCapture capture(filename);
    if (!capture.isOpened()){
        //error in opening the video input
        cerr << "Unable to open file!" << endl;
        return 0;
    }
    // Create some random colors 随机颜色，后期画光流需要
    vector<Scalar> colors;
    RNG rng;
    for(int i = 0; i < 100; i++)
    {
        int r = rng.uniform(0, 256);
        int g = rng.uniform(0, 256);
        int b = rng.uniform(0, 256);
        colors.push_back(Scalar(r,g,b));
    }
    Mat old_frame, old_gray;
    vector<Point2f> p0, p1;//特征点，p0为初始通过Shi-Tomas获取的角点，p1为检测到的对应角点（有好有坏，后期会进行选择）
    // Take first frame and find corners in it
    capture >> old_frame;
    cvtColor(old_frame, old_gray, COLOR_BGR2GRAY);//由于角点检测输入为灰度图像，此处转换
    goodFeaturesToTrack(old_gray, p0, 100, 0.3, 7, Mat(), 7, false, 0.04);//p0中角点的检测与初始化
    // Create a mask image for drawing purposes
    Mat mask = Mat::zeros(old_frame.size(), old_frame.type());//创建一个与frame大小、类型相同的掩膜
    while(true){
        Mat frame, frame_gray;
        capture >> frame;
        if (frame.empty())
            break;
        cvtColor(frame, frame_gray, COLOR_BGR2GRAY);
        // calculate optical flow
        vector<uchar> status;//特征点检测的状态，相近(基本成功)为1，检测失败为0
        vector<float> err;
        TermCriteria criteria = TermCriteria((TermCriteria::COUNT) + (TermCriteria::EPS), 10, 0.03);
        calcOpticalFlowPyrLK(old_gray, frame_gray, p0, p1, status, err, Size(15,15), 2, criteria);//此处进行稀疏光流的计算，得到输出特征点向量p1
        vector<Point2f> good_new;//好的可以继续使用的特征点（角点）
        for(uint i = 0; i < p0.size(); i++)
        {
            // Select good points
            if(status[i] == 1) {
                good_new.push_back(p1[i]);//将匹配成功的特征点存入向量
                // draw the tracks
                line(mask,p1[i], p0[i], colors[i], 2);//在掩膜上连接初始特征点与检测到的特征点（只有检测成功时才画，所以可能会看到最后画出来的为折线，并不光滑）
                circle(frame, p1[i], 5, colors[i], -1);//突出转折的角点（就是标明检测到的特征点）
            }
        }
        Mat img;
        add(frame, mask, img);//在原图像上添加掩膜并输出到img中
        imshow("Frame", img);//展示检测结果
        int keyboard = waitKey(30);
        if (keyboard == 'q' || keyboard == 27)
            break;
        // Now update the previous frame and previous points
        old_gray = frame_gray.clone();
        p0 = good_new;//将此次检测成功的特征点作为下一次的输入，及不断进行特征点的更新（所以即使某一次检测出错，但后面还是有可能检测出正确的点）
    }
}

ps：

传视频地址时要加参数：

完整命令行：

./<当前路径下的可执行文件>    -@image=<视频文件路径>

运行截图：

2.基于所有点的稠密光流：Dense Optical Flow

#include <iostream>
#include <opencv2/core.hpp>
#include <opencv2/highgui.hpp>
#include <opencv2/imgproc.hpp>
#include <opencv2/videoio.hpp>
#include <opencv2/video.hpp>
using namespace cv;
using namespace std;
int main()
{
    VideoCapture capture("./vtest.avi");//没有看懂此示例教程获取视频文件路径的方式，你可以自己在此处直接修改视频路径

    if (!capture.isOpened()){
        //error in opening the video input
        cerr << "Unable to open file!" << endl;
        return 0;
    }
    Mat frame1, prvs;
    capture >> frame1;
    cvtColor(frame1, prvs, COLOR_BGR2GRAY);//彩色转灰度
    while(true){
        Mat frame2, next;
        capture >> frame2;
        if (frame2.empty())
            break;
        cvtColor(frame2, next, COLOR_BGR2GRAY);//彩色转灰度
        Mat flow(prvs.size(), CV_32FC2);
        calcOpticalFlowFarneback(prvs, next, flow, 0.5, 3, 15, 3, 5, 1.2, 0);//此处计算没有看到算法原理，不敢乱讲
        // visualization
        Mat flow_parts[2];
        split(flow, flow_parts);
        Mat magnitude, angle, magn_norm;
        cartToPolar(flow_parts[0], flow_parts[1], magnitude, angle, true);
        normalize(magnitude, magn_norm, 0.0f, 1.0f, NORM_MINMAX);
        angle *= ((1.f / 360.f) * (180.f / 255.f));
        //build hsv image
        Mat _hsv[3], hsv, hsv8, bgr;
        _hsv[0] = angle;
        _hsv[1] = Mat::ones(angle.size(), CV_32F);
        _hsv[2] = magn_norm;
        merge(_hsv, 3, hsv);
        hsv.convertTo(hsv8, CV_8U, 255.0);
        cvtColor(hsv8, bgr, COLOR_HSV2BGR);
        imshow("frame2", bgr);
        imshow("frame", frame2);//我自己加的，为了和原图像形成对比
        int keyboard = waitKey(30);
        if (keyboard == 'q' || keyboard == 27)
            break;
        prvs = next;
    }
}

运行截图：