OpenCV中感兴趣区域的选取与检测(二)

1、模板匹配

模板匹配是一项在一幅图像中寻找与另一幅模板图像最匹配(相似)部分的技术，它应该是寻找ROI(模板)最简单高效的方式了。模板匹配的工作方式跟直方图的反向投影基本一样，只不过反射投影直方图得到的是ROI出现在图像中特定位置的概率，是一种概率映射，而模板匹配是直接关于像素的度量。

假设我们有一张100x100的输入图像，ROI(模板)是10x10的图像，模板匹配具体的操作方式是这样的：

1)从输入图像的左上角(0,0)开始滑动，获取(0,0)至(10,10)的临时图像；
2)选择一种度量方式(函数)对比临时图像和模板图像，度量值 保存 到 结果图像矩阵 (R) 中；
3)滑动模板图像至(0,1)，获取(0,1)至(10,11)的临时图像，对比，并将度量值记录到结果图像R中；
4)重复步骤(1)~(3)直到输入图像的右下角；
5)定位在结果图像矩阵 R 中的最大值点 (或者最小值, 根据度量函数输入的匹配参数)，即为模板最有可能出现的位置。

OpenCV提供了模板匹配的API函数，其函数原型为：

void matchTemplate(InputArray image, 
                   InputArray templ, 
                   OutputArray result,  
                   int method)

Parameters：
前三个由操作步骤很容易理解，第四个参数是模板匹配的度量函数，OpenCV支持以下6种对比方式：
CV_TM_SQDIFF 平方差匹配法：采用平方差来进行匹配；最好的匹配值为0；匹配越差，匹配值越大。
CV_TM_CCORR 相关匹配法：采用乘法操作；数值越大表明匹配程度越好。
CV_TM_CCOEFF 相关系数匹配法：1表示完美的匹配；-1表示最差的匹配。
CV_TM_SQDIFF_NORMED 归一化平方差匹配法
CV_TM_CCORR_NORMED 归一化相关匹配法
CV_TM_CCOEFF_NORMED 归一化相关系数匹配法
具体公式请参考opencvdoc。

Demo程序：

#include <iostream>
#include "opencv2/core/core.hpp"
#include "opencv2/imgproc/imgproc.hpp"
#include "opencv2/highgui/highgui.hpp"

using namespace std;
using namespace cv;

bool draw;  
Mat src;//原始图像  
Mat roi;//ROI图像
Mat result;
Point cursor;//初始坐标   
Rect rect;//标记ROI的矩形框

char* image_window = "SrcImage";
char* result_window = "Result window";

int match_method;
int max_Trackbar = 5;

void MatchingMethod( int, void* );
void onMouse(int event, int x, int y, int flags, void *param);


int main()
{
    src=imread("test.jpg");
    if(src.data==0)
    {
        cout<<"error, the src image is not built!"<<endl;
        return -1;
    }
    //cvtColor(src,src,CV_BGR2GRAY);
    namedWindow(image_window);
    imshow(image_window,src);
    setMouseCallback(image_window, onMouse, NULL); 
    namedWindow(result_window);

    waitKey();
    return 0;
}

void onMouse(int event, int x, int y, int flags, void *param)  
{  
    Mat img = src.clone();
    switch (event)  
    { 
    //按下鼠标左键
    case CV_EVENT_LBUTTONDOWN:          
        //点击鼠标图像时，清除之前ROI图像的显示窗口  
        cvDestroyWindow("ROI");   
        //存放起始坐标  
        cursor = Point(x, y);  
        //初始化起始矩形框  
        rect = Rect(x, y, 0, 0);  
        draw = true;  
        break;  

    //松开鼠标左键      
    case CV_EVENT_LBUTTONUP:           
        if (rect.height > 0 && rect.width > 0)  
        {  
            //将img中的矩形区域复制给roi，并显示在SignROI窗口 
            roi = img(Rect(rect.x, rect.y, rect.width, rect.height));  
            rectangle(img, rect, Scalar(0, 0, 255),2);  
            namedWindow("SignROI");  
            imshow("SignROI", img);  

            //将画过矩形框的图像用原图像还原  
            src.copyTo(img);  
            imshow("SrcImage", img);  

            //显示ROI图像
            //namedWindow("ROI");  
            //imshow("ROI", roi);    

            //进行模板匹配
            // 创建滑动条
            char* trackbar_label = "MatchTemplate"; /* 0: SQDIFF
                                             1: SQDIFF NORMED 
                                             2: TM CCORR
                                             3: TM CCORR NORMED
                                             4: TM COEFF 
                                             5: TM COEFF NORMED  */
            createTrackbar( trackbar_label, image_window, &match_method, max_Trackbar, MatchingMethod );

            MatchingMethod( 0, 0 );
            waitKey(10);  
        }  
        draw = false;  
        break;  

    //移动光标
    case CV_EVENT_MOUSEMOVE:  
        if (draw)
        {  
            //用MIN得到左上点作为矩形框的起始坐标，如果不加这个，画矩形时只能向一个方向进行  
            rect.x = MIN(x, cursor.x);  
            rect.y = MIN(y, cursor.y);  
            rect.width = abs(cursor.x - x);  
            rect.height = abs(cursor.y - y);  
            //防止矩形区域超出图像的范围  
            rect &= Rect(0, 0, src.cols, src.rows);  
        }  
        break;  
    }  
}  

void MatchingMethod( int, void* )
{
    // 将被显示的原图像
    Mat img_display;
    src.copyTo( img_display );

    // 创建输出结果的矩阵
    int result_cols =  src.cols - roi.cols + 1;
    int result_rows = src.rows - roi.rows + 1;

    result.create( result_cols, result_rows, CV_32FC1 );

    // 进行匹配和标准化
    matchTemplate( src, roi, result, match_method );
    normalize( result, result, 0, 1, NORM_MINMAX, -1, Mat() );

    // 通过函数 minMaxLoc 定位最匹配的位置
    double minVal; double maxVal; Point minLoc; Point maxLoc;
    Point matchLoc;

    minMaxLoc( result, &minVal, &maxVal, &minLoc, &maxLoc, Mat() );

    // 对于方法 SQDIFF 和 SQDIFF_NORMED, 越小的数值代表更高的匹配结果
    //对于其他方法, 数值越大匹配越好
    if( match_method  == CV_TM_SQDIFF || match_method == CV_TM_SQDIFF_NORMED )
    { 
        matchLoc = minLoc; 
    }
    else
    { 
        matchLoc = maxLoc; 
    }

    // 检测结果
    rectangle( img_display, matchLoc, Point( matchLoc.x + roi.cols , matchLoc.y + roi.rows ), Scalar::all(0), 2, 8, 0 );
    rectangle( result, matchLoc, Point( matchLoc.x + roi.cols , matchLoc.y + roi.rows ), Scalar::all(0), 2, 8, 0 );

    imshow( image_window, img_display );
    imshow( result_window, result );
    return;
}

运行结果：

2、均值漂移算法(Mean Shift)

关于Mean Shift的理论知识，见我的博文OpenCV之均值漂移(Mean Shift)算法.

由于OpenCV中的API函数的使用是建立在图像分布直方图的基础上的，所以对之前OpenCV中感兴趣区域的选取与检测(一)中的Demo稍作修改即可。