今天摸鱼,调一下基于SURF特征点检测的图像强行匹配。
强行匹配的原理是这样的:OpenCV中有一个通用类BruteForceMatcher,该类使用描述子(特征向量)来进行匹配。特征向量描绘了图像特征点周围的强度样式,两个特征点相似程度越高,特征向量越靠近。强行匹配首先检测两幅图像各自的特征点,随后提取它们的描述子。第一幅图像的每一个描述子向量都会和第二幅图像的每个描述子向量作比较,其中得分最高的一对描述子将被认为是该特征的最佳匹配。
程序主要流程为1.检测两幅图像的SURF特征点2.由特征点得到特征向量3.匹配特征向量4.绘制检测到的匹配点。
程序中有两个窗口,我在其中一个窗口中增加了一个鼠标移动的滚动条,依靠滚动条的移动来调整Hessian阈值,进一步控制选取特征点的数量。
#include <opencv2/core/core.hpp>
#include <opencv2/highgui/highgui.hpp>
#include <opencv2/imgproc/imgproc.hpp>
#include <opencv2/features2d/features2d.hpp>
#include <opencv2/legacy/legacy.hpp>
#include <opencv2/nonfree/nonfree.hpp>
#include <iostream>
using namespace std;
using namespace cv;
#define window_name1 "after processed"//宏定义窗口2名称
#define window_name2 "raw image"//宏定义窗口1名称
int HessianValue=700;//设定hessian阈值,阈值越小,特征点越多
int MaxHessianValue=1500;//设定hessian最大阈值
Mat srcimage1;
Mat srcimage2;//两幅需要做匹配的图像
Mat matchedImage;//最终匹配输出的图像
vector<KeyPoint> keyPoint1,keyPoint2;//存放特征点的矢量
Mat descriptors1,descriptors2;//定义图像的描述子
vector<DMatch> matches;//描述子匹配后的输出矢量
void on_SURFMatch(int,void*);
int main()
{
srcimage1=imread("1.jpg",1);
srcimage2=imread("2.jpg",1);//读取两幅需要做匹配的图像
if(!srcimage1.data||!srcimage2.data){cout<<"Error"<<endl; return false;}
namedWindow(window_name2,WINDOW_AUTOSIZE);
imshow(window_name2,srcimage1);
createTrackbar("HessianValue",window_name2,&HessianValue,MaxHessianValue,on_SURFMatch);//创建滚动条函数应在创建窗口后
on_SURFMatch(0,0);//回调函数初始化
waitKey(0);
return 0;
}
void on_SURFMatch(int,void* )
{
SurfFeatureDetector detector(HessianValue);//实例化一个特征检测对象
detector.detect(srcimage1,keyPoint1);//调用成员函数detect检测SURF特征点,存储在存放特征点的矢量中
detector.detect(srcimage2,keyPoint2);
SurfDescriptorExtractor extractor;//实例化SURF特征提取对象
extractor.compute(srcimage1,keyPoint1,descriptors1);
extractor.compute(srcimage2,keyPoint2,descriptors2);
BruteForceMatcher<L2<float>> matcher;//实例化匹配器
matcher.match(descriptors1,descriptors2,matches);//两幅图的描述子进行匹配
drawMatches(srcimage1,keyPoint1,srcimage2,keyPoint2,matches,matchedImage);//绘制匹配出的关键点
namedWindow(window_name1,WINDOW_AUTOSIZE);
imshow(window_name1,matchedImage);
}
这里使用《鬼吹灯:精绝古城》这本书当实验对象,当Hessian阈值在700时,已经有相当数量的特征点被识别并成功匹配。
当Hessian阈值在301时,匹配成功的特征点较为明显地增多。
当使用另一本书与其作匹配时,可以观察到也有相当多的特征点被匹配成功。显然,光依靠这样匹配是无法很准确识别相同物体的,需要进一步学习研究。