反向投影在模板匹配中的应用

1.需要知道的问题。

• 什么是反向投影，它可以实现什么功能？
• 如何使用OpenCV函数 calcBackProject 计算反向投影？
• 如何使用OpenCV函数 mixChannels 组合图像的不同通道？

2.原理

  （1）什么是反向投影？

• 反向投影是一种记录给定图像中的像素点如何适应直方图模型像素分布的方式。
• 简单的讲， 所谓反向投影就是首先计算某一特征的直方图模型，然后使用模型去寻找图像中存在的该特征。
• 例如， 你有一个肤色直方图 ( Hue-Saturation 直方图 ),你可以用它来寻找图像中的肤色区域。

  （2） 反向投影的工作原理?

• 我们使用肤色直方图为例来解释反向投影的工作原理:

• 假设你已经通过下图得到一个肤色直方图(Hue-Saturation)， 旁边的直方图就是 模型直方图 ( 代表手掌的皮肤色调).你可以通过掩码操作来抓取手掌所在区域的直方图:

                 

• 下图是另一张手掌图(测试图像) 以及对应的整张图像的直方图：                        
•              

• 我们要做的就是使用 模型直方图 (代表手掌的皮肤色调) 来检测测试图像中的皮肤区域。以下是检测的步骤：

  1. 对测试图像中的每个像素 (  ),获取色调数据并找到该色调(  )在直方图中的bin的位置。

  2. 查询 模型直方图 中对应的bin -  - 并读取该bin的数值。

  3. 将此数值储存在新的图像中(BackProjection)。 你也可以先归一化 模型直方图 ,这样测试图像的输出就可以在屏幕显示了。

  4. 通过对测试图像中的每个像素采用以上步骤， 我们得到了下面的 BackProjection 结果图:

  5. 

  使用统计学的语言, BackProjection 中储存的数值代表了测试图像中该像素属于皮肤区域的 概率 。比如以上图为例， 亮起的区域是皮肤区域的概率更大(事实确实如此),而更暗的区域则表示更低的概率(注意手掌内部和边缘的阴影影响了检测的精度)。

3.代码。

这段代码是基于OpenCV来做的，主要完成以下功能：

• 装载图像

• 转换原图像到 HSV 格式，再分离出 Hue 通道来建立直方图 (使用 OpenCV 函数 mixChannels)

• 让用户输入建立直方图所需的bin的数目。

• 计算同一图像的直方图 (如果bin的数目改变则更新直方图) 和反向投影图。

• 显示反向投影图和直方图。

  #include "opencv2/imgproc/imgproc.hpp"
  #include "opencv2/highgui/highgui.hpp"
  
  #include 
         
         
          
          
  
  using namespace cv;
  using namespace std;
  
  /// 全局变量
  Mat src; Mat hsv; Mat hue;
  int bins = 25;
  
  /// 函数申明
  void Hist_and_Backproj(int, void* );
  
  /** @函数 main */
  int main( int argc, char** argv )
  {
    /// 读取图像
    src = imread( argv[1], 1 );
    /// 转换到 HSV 空间
    cvtColor( src, hsv, CV_BGR2HSV );
  
    /// 分离 Hue 通道
    hue.create( hsv.size(), hsv.depth() );
    int ch[] = { 0, 0 };
    mixChannels( &hsv, 1, &hue, 1, ch, 1 );
  
    /// 创建 Trackbar 来输入bin的数目
    char* window_image = "Source image";
    namedWindow( window_image, CV_WINDOW_AUTOSIZE );
    createTrackbar("* Hue  bins: ", window_image, &bins, 180, Hist_and_Backproj );
    Hist_and_Backproj(0, 0);
  
    /// 现实图像
    imshow( window_image, src );
  
    /// 等待用户反应
    waitKey(0);
    return 0;
  }
  
  
  /**
   * @函数 Hist_and_Backproj
   * @简介：Trackbar事件的回调函数
   */
  void Hist_and_Backproj(int, void* )
  {
    MatND hist;
    int histSize = MAX( bins, 2 );
    float hue_range[] = { 0, 180 };
    const float* ranges = { hue_range };
  
    /// 计算直方图并归一化
    calcHist( &hue, 1, 0, Mat(), hist, 1, &histSize, &ranges, true, false );
    normalize( hist, hist, 0, 255, NORM_MINMAX, -1, Mat() );
  
    /// 计算反向投影
    MatND backproj;
    calcBackProject( &hue, 1, 0, hist, backproj, &ranges, 1, true );
  
    /// 显示反向投影
    imshow( "BackProj", backproj );
  
    /// 显示直方图
    int w = 400; int h = 400;
    int bin_w = cvRound( (double) w / histSize );
    Mat histImg = Mat::zeros( w, h, CV_8UC3 );
  
    for( int i = 0; i < bins; i ++ )
       { rectangle( histImg, Point( i*bin_w, h ), Point( (i+1)*bin_w, h - cvRound( hist.at
          
          
           
           (i)*h/255.0 ) ), Scalar( 0, 0, 255 ), -1 ); }
  
    imshow( "Histogram", histImg );
  }
          
          
         
         

4.运行结果