pythonopencv图像拼接缝隙_OpenCV探索之路（二十四）图像拼接和图像融合技术

图像拼接在实际的应用场景很广，比如无人机航拍，遥感图像等等，图像拼接是进一步做图像理解基础步骤，拼接效果的好坏直接影响接下来的工作，所以一个好的图像拼接算法非常重要。

再举一个身边的例子吧，你用你的手机对某一场景拍照，但是你没有办法一次将所有你要拍的景物全部拍下来，所以你对该场景从左往右依次拍了好几张图，来把你要拍的所有景物记录下来。那么我们能不能把这些图像拼接成一个大图呢？我们利用opencv就可以做到图像拼接的效果！

比如我们有对这两张图进行拼接。

从上面两张图可以看出，这两张图有比较多的重叠部分，这也是拼接的基本要求。

那么要实现图像拼接需要那几步呢？简单来说有以下几步：

对每幅图进行特征点提取

对对特征点进行匹配

进行图像配准

把图像拷贝到另一幅图像的特定位置

对重叠边界进行特殊处理

好吧，那就开始正式实现图像配准。

第一步就是特征点提取。现在CV领域有很多特征点的定义，比如sift、surf、harris角点、ORB都是很有名的特征因子，都可以用来做图像拼接的工作，他们各有优势。本文将使用ORB和SURF进行图像拼接，用其他方法进行拼接也是类似的。

基于SURF的图像拼接

用SIFT算法来实现图像拼接是很常用的方法，但是因为SIFT计算量很大，所以在速度要求很高的场合下不再适用。所以，它的改进方法SURF因为在速度方面有了明显的提高（速度是SIFT的3倍），所以在图像拼接领域还是大有作为。虽说SURF精确度和稳定性不及SIFT，但是其综合能力还是优越一些。下面将详细介绍拼接的主要步骤。

1.特征点提取和匹配

特征点提取和匹配的方法我在上一篇文章《OpenCV探索之路（二十三）：特征检测和特征匹配方法汇总》中做了详细的介绍，在这里直接使用上文所总结的SURF特征提取和特征匹配的方法。

//提取特征点

SurfFeatureDetector Detector(2000);

vector keyPoint1, keyPoint2;

Detector.detect(image1, keyPoint1);

Detector.detect(image2, keyPoint2);

//特征点描述，为下边的特征点匹配做准备

SurfDescriptorExtractor Descriptor;

Mat imageDesc1, imageDesc2;

Descriptor.compute(image1, keyPoint1, imageDesc1);

Descriptor.compute(image2, keyPoint2, imageDesc2);

FlannBasedMatcher matcher;

vector > matchePoints;

vector GoodMatchePoints;

vector train_desc(1, imageDesc1);

matcher.add(train_desc);

matcher.train();

matcher.knnMatch(imageDesc2, matchePoints, 2);

cout << "total match points: " << matchePoints.size() << endl;

// Lowe's algorithm,获取优秀匹配点

for (int i = 0; i < matchePoints.size(); i++)

{

if (matchePoints[i][0].distance < 0.4 * matchePoints[i][1].distance)

{

GoodMatchePoints.push_back(matchePoints[i][0]);

}

}

Mat first_match;

drawMatches(image02, keyPoint2, image01, keyPoint1, GoodMatchePoints, first_match);

imshow("first_match ", first_match);

2.图像配准

这样子我们就可以得到了两幅待拼接图的匹配点集，接下来我们进行图像的配准，即将两张图像转换为同一坐标下，这里我们需要使用findHomography函数来求得变换矩阵。但是需要注意的是，findHomography函数所要用到的点集是Point2f类型的，所有我们需要对我们刚得到的点集GoodMatchePoints再做一次处理，使其转换为Point2f类型的点集。

vector imagePoints1, imagePoints2;

for (int i = 0; i

{

imagePoints2.push_back(keyPoint2[GoodMatchePoints[i].queryIdx].pt);

imagePoints1.push_back(keyPoint1[GoodMatchePoints[i].trainIdx].pt);

}

这样子，我们就可以拿着imagePoints1, imagePoints2去求变换矩阵了，并且实现图像配准。值得注意的是findHomography函数的参数中我们选泽了CV_RANSAC，这表明我们选择RANSAC算法继续筛选可靠地匹配点，这使得匹配点解更为精确。

//获取图像1到图像2的投影映射矩阵 尺寸为3*3

Mat homo = findHomography(imagePoints1, imagePoints2, CV_RANSAC);

也可以使用getPerspectiveTransform方法获得透视变换矩阵，不过要求只能有4个点，效果稍差

//Mat homo=getPerspectiveTransform(imagePoints1,imagePoints2);

cout << "变换矩阵为：\n" << homo << endl << endl; //输出映射矩阵

//图像配准

Mat imageTransform1, imageTransform2;

warpPerspective(image01, imageTransform1, homo, Size(MAX(corners.right_top.x, corners.right_bottom.x), image02.rows));

//warpPerspective(image01, imageTransform2, adjustMat*homo, Size(image02.cols*1.3, image02.rows*1.8));

imshow("直接经过透视矩阵变换", imageTransform1);

imwrite("trans1.jpg", imageTransform1);

3. 图像拷贝

拷贝的思路很简单，就是将左图直接拷贝到配准图上就可以了。

//创建拼接后的图,需提前计算图的大小

int dst_width = imageTransform1.cols; //取最右点的长度为拼接图的长度

int dst_height = image02.rows;

Mat dst(dst_height, dst_width, CV_8UC3);

dst.setTo(0);

imageTransform1.copyTo(dst(Rect(0, 0, imageTransform1.cols, imageTransform1.rows)));

image02.copyTo(dst(Rect(0, 0, image02.cols, image02.rows)));

imshow("b_dst", dst);

4.图像融合（去裂缝处理）

从上图可以看出，两图的拼接并不自然，原因就在于拼接图的交界处，两图因为光照色泽的原因使得两图交界处的过渡很糟糕，所以需要特定的处理解决这种不自然。这里的处理思路是加权融合，在重叠部分由前一幅图像慢慢过渡到第二幅图像，即将图像的重叠区域的像素值按一定的权值相加合成新的图像。

//优化两图的连接处，使得拼接自然

void OptimizeSeam(Mat& img1, Mat& trans, Mat& dst)

{

int start = MIN(corners.left_top.x, corners.left_bottom.x);//开始位置，即重叠区域的左边界

double processWidth = img1.cols - start;//重叠区域的宽度

int rows = dst.rows;

int cols = img1.cols; //注意，是列数*通道数

double alpha = 1;//img1中像素的权重

for (int i = 0; i < rows; i++)

{

uchar* p = img1.ptr(i); //获取第i行的首地址

uchar* t = trans.ptr(i);

uchar* d = dst.ptr(i);

for (int j = start; j < cols; j++)

{

//如果遇到图像trans中无像素的黑点，则完全拷贝img1中的数据

if (t[j * 3] == 0 && t[j * 3 + 1] == 0 && t[j * 3 + 2] == 0)

{

alpha &#