最简单的目标跟踪（模版匹配）

一、概述

       目标跟踪是计算机视觉领域的一个重要分支。研究的人很多，近几年也出现了很多很多的算法。大家看看淋漓满目的paper就知道了。但在这里，我们也聚焦下比较简单的算法，看看它的优势在哪里。毕竟有时候简单就是一种美。

       在这里我们一起来欣赏下“模板匹配”这个简单点的跟踪算法。它的思想很简单，我们把要跟踪的目标保存好，然后在每一帧来临的时候，我们在整个图像中寻找与这个目标最相似的，我们就相信这个就是目标了。那如何判断相似呢？就用到了一些相关性的东西了，这个在我之前的一篇博文里面介绍过，大家可以参考下：

       模板匹配中差值的平方和（SSD）与互相关准则的关系

http://blog.csdn.net/zouxy09/article/details/8549743

       然后为了适应目标的变化，我们就需要随时更新我们要跟踪的目标。换句话来说，在跟踪t帧的时候，也就是在第t帧寻找目标的时候，是与t-1帧中我们找到的目标来进行比较的。这样目标的外观变化就会及时的更新。这个就叫做在线跟踪方法。当然了，这个策略会导致跟踪漂移的问题，这就是近几年很多跟踪算法关注的重要问题之一了。

 

二、代码实现

       我的代码是基于Xcode+ OpenCV的。代码可以读入视频，也可以读摄像头，两者的选择只需要在代码中稍微修改即可。对于视频来说，运行会先显示第一帧，然后我们用鼠标框选要跟踪的目标，然后跟踪器开始跟踪每一帧。对摄像头来说，就会一直采集图像，然后我们用鼠标框选要跟踪的目标，接着跟踪器开始跟踪后面的每一帧。具体代码如下：

simpleTracker.cpp

#include <iostream>
#include <opencv2/core/core.hpp>
#include <opencv2/highgui/highgui.hpp>
#include <opencv2/opencv.hpp>
// 新版本写在下面文件中：
#include <opencv2/nonfree/features2d.hpp>
//#include "opencv2/features2d/features2d.hpp"
#include<opencv2/legacy/legacy.hpp>

using namespace std;
using namespace cv;


// Global variables
Rect box;
bool drawing_box = false;
bool gotBB = false;

// bounding box mouse callback
void mouseHandler(int event, int x, int y, int flags, void *param){
    switch( event ){
        case CV_EVENT_MOUSEMOVE:
            if (drawing_box){
                box.width = x-box.x;
                box.height = y-box.y;
            }
            break;
        case CV_EVENT_LBUTTONDOWN:
            drawing_box = true;
            box = Rect( x, y, 0, 0 );
            break;
        case CV_EVENT_LBUTTONUP:
            drawing_box = false;
            if( box.width < 0 ){
                box.x += box.width;
                box.width *= -1;
            }
            if( box.height < 0 ){
                box.y += box.height;
                box.height *= -1;
            }
            gotBB = true;
            break;
    }
}


// tracker: get search patches around the last tracking box,
// and find the most similar one
void tracking(Mat frame, Mat &model, Rect &trackBox)
{
    Mat gray;
    cvtColor(frame, gray, CV_RGB2GRAY);
    
    Rect searchWindow;
    searchWindow.width = trackBox.width * 3;
    searchWindow.height = trackBox.height * 3;
    searchWindow.x = trackBox.x + trackBox.width * 0.5 - searchWindow.width * 0.5;
    searchWindow.y = trackBox.y + trackBox.height * 0.5 - searchWindow.height * 0.5;
    searchWindow &= Rect(0, 0, frame.cols, frame.rows);
    
    Mat similarity;
    matchTemplate(gray(searchWindow), model, similarity, CV_TM_CCOEFF_NORMED);
    
    double mag_r;
    Point point;
    minMaxLoc(similarity, 0, &mag_r, 0, &point);
    trackBox.x = point.x + searchWindow.x;
    trackBox.y = point.y + searchWindow.y;
    model = gray(trackBox);
}

int main(int argc, char * argv[])
{
    VideoCapture capture(0);   //打开摄像头
    if (!capture.isOpened())   // isOpened函数用来检测VideoCapture类是否打开成功
    {
        return -1;
    }
    
    // VideoCapture capture;
    // capture.open("david.mpg");
    bool fromfile = true;
    //Init camera
    //if (!capture.isOpened())
    //{
    //    cout << "capture device failed to open!" << endl;
    //    return -1;
    //}
    //Register mouse callback to draw the bounding box
    cvNamedWindow("Tracker", CV_WINDOW_AUTOSIZE);
    cvSetMouseCallback("Tracker", mouseHandler, NULL );
    
    Mat frame, model;
    capture >> frame;
    while(!gotBB)
    {
        if (!fromfile)
            capture >> frame;
        
        imshow("Tracker", frame);
        if (cvWaitKey(20) == 'q')
            return 1;
    }
    //Remove callback
    cvSetMouseCallback("Tracker", NULL, NULL );
    
    Mat gray;
    cvtColor(frame, gray, CV_RGB2GRAY);
    model = gray(box);
    
    int frameCount = 0;
    
    while (1)
    {
        capture >> frame;
        if (frame.empty())
            return -1;
        double t = (double)cvGetTickCount();
        frameCount++;
        
        // tracking
        tracking(frame, model, box);
        
        // show
        stringstream buf;
        buf << frameCount;
        string num = buf.str();
        putText(frame, num, Point(20, 20), FONT_HERSHEY_SIMPLEX, 1, Scalar(0, 0, 255), 3);
        rectangle(frame, box, Scalar(0, 0, 255), 3);
        imshow("Tracker", frame);
        
        
        t = (double)cvGetTickCount() - t;
        cout << "cost time: " << t / ((double)cvGetTickFrequency()*1000.) << endl;  
        
        if ( cvWaitKey(1) == 27 )  
            break;  
    }  
    
    return 0;  
}

三、结果

       我们对在目标跟踪领域一个benchmark的视频-david来测试下代码的效果。如下图所以，每帧的帧号在右上角所示。这个视频的光照变化是挺大的，但是简单的模板匹配方法还是可以挺有效的进行跟踪的，而且速度很快，在这个视频中，只花费了1ms左右（耗时的长度与目标框的大小和机器的性能有关）。