最近正在做一个票据识别归一化的项目,主要实现的功能是把图片归一化成跟模板一样的图片。
首先这边先说明下,这个算法适应图片的版面上有较多的不变特征,如果图片上有较多的不变特征,还可以用此算法做边框切割(算法有做透视变换,连透视变换都省了)。
例如:
这张是模板图片(模板是选用不变特征来做成的,这样会提高准确率,用标准一点的图片做模板也是可以的):
这张是待归一化的图片:
实现的功能是把待归一化的图片处理成与模板图片一样的图片(主要是为之后的切片),处理后的图片:
这样就能把原始图片与模板图片每个像素点都对应上,方便之后的处理。
算法的具体流程:
1:surf特征的提取(如果特征点太多,会根据模板的特征点数进行一次原始图片的特征提取,主要是为了减少匹配的时间);
SurfFeatureDetector surfDetector(1000);
vector<KeyPoint> keyPoint1,keyPoint2;
surfDetector.detect(image1,keyPoint1);
surfDetector.detect(image2,keyPoint2);
if (keyPoint1.size() > keyPoint2.size() * 4)
{
keyPoint1.clear();
SurfFeatureDetector surfDetector(3000);
surfDetector.detect(image1,keyPoint1);
}
else if (keyPoint1.size() > keyPoint2.size() * 3)
{
keyPoint1.clear();
SurfFeatureDetector surfDetector(2500);
surfDetector.detect(image1,keyPoint1);
}
else if (keyPoint1.size() > keyPoint2.size() * 2.5)
{
keyPoint1.clear();
SurfFeatureDetector surfDetector(2000);
surfDetector.detect(image1,keyPoint1);
}
else if (keyPoint1.size() > keyPoint2.size() * 2)
{
keyPoint1.clear();
SurfFeatureDetector surfDetector(1500);
surfDetector.detect(image1,keyPoint1);
}
2:特征点描述;
SurfDescriptorExtractor SurfDescriptor;
Mat imageDesc1, imageDesc2;
SurfDescriptor.compute(image1, keyPoint1, imageDesc1);
SurfDescriptor.compute(image2, keyPoint2, imageDesc2);
3:根据FLANN匹配器进行匹配,并进行筛选;
FlannBasedMatcher matcher;
vector< DMatch > matches;
vector<vector<DMatch>> m_knnMatches;
float minRatio = 1.f / 1.5f;
matcher.knnMatch(imageDesc1,imageDesc2,m_knnMatches,2);
//sort(m_knnMatches.begin(),m_knnMatches.end()); //特征点排序
cout << "m_knnMatches个数:" << m_knnMatches.size() << endl;
for (int i = 0; i<m_knnMatches.size(); i++)
{
float distanceRatio = m_knnMatches[i][0].distance / m_knnMatches[i][1].distance;
//cout<<"distanceRatio:%f"<<distanceRatio<<endl;
if (distanceRatio <= minRatio)
{
matches.push_back(m_knnMatches[i][0]);
}
}
cout << "matches个数:" << matches.size() << endl;
4:根据筛选过的点求取变换矩阵;
“`
Mat homo = findHomography(imagePoints1, imagePoints2, CV_RANSAC);
5:这步是根据变换矩阵进行校验,校验函数judgeHome(&homo),这是自己写的函数,可以把矫正错的图片给筛选出来。
6:变换矩阵求出来后那只要透视变换就好了,我用的是 warpPerspective(yImage2, imageTransform1, homo, Size(mImage1.cols, mImage1.rows));
筛选匹配点后的图片:
在这边看图片上还是会有一小部分的特征匹配错了,不过对于大部分点有匹配对就想了,在求取变换矩阵是会选择正确的匹配点的,现在也有在做匹配点的筛选,还没完成就是了,findHomography会比较复杂点,大家有兴趣可以去看看。
改进方向:
1:建立多个模板,可以把模板的特征放在文件里,可以写多个模板进去,然后去匹配,找到最匹配的模板进行归一化,这样会提高准确率。
2:错误匹配点的去除也会提高准确率;
3:试了下用这样的算法去做证件类型的边框切割,感觉效果还可以(比如军官证,户口本之类的),接下来会尝试这方面的尝尝。