OpenCV2特征点的图像拼接

前面介绍了OpenCV3 角点检测OpenCV2 特征检测与匹配,这些特征点可以用于识别,分类等任务,也可以用于图像的拼接,3D重建,地图重建(vslam)。
OpenCV2 中有自带的图像拼接函数Stitch,其主要步骤是:
1.检测需要匹配的两幅图的特征点(OpenCV 用的SURF ,ORB(快)),
2.对这两幅图的特征进行匹配找到共同的特征点,
3.根据共同的特征点进行配准,找到第二幅图到第一幅图的单应矩阵, findHomography()。
4.将第二幅图映射到一个共同的坐标的图上,第一幅图也复制上去形成初步的拼接,
5.对拼接处做EMA平滑处理,做到无缝连接。

代码如下,参考代码

#include "highgui/highgui.hpp"    
#include "opencv2/nonfree/nonfree.hpp"    
#include "opencv2/legacy/legacy.hpp"   
#include <iostream>  
using namespace cv;
using namespace std;
void OptimizeSeam(Mat& img1, Mat& trans, Mat& dst);
typedef struct
{
   
    Point2f left_top;
    Point2f left_bottom;
    Point2f right_top;
    Point2f right_bottom;
}four_corners_t;

four_corners_t corners;
void CalcCorners(const Mat& H, const Mat& src)
{
   
    double v2[] = {
    0, 0, 1 };//左上角
    double v1[3];//变换后的坐标值
    Mat V2 = Mat(3, 1, CV_64FC1, v2);  //列向量
    Mat V1 = Mat(3, 1, CV_64FC1, v1);  //列向量
    V1 = H * V2;
    //左上角(0,0,1)
    cout << "V2: " << V2 << endl;
    cout << "V1: " << V1 << endl;
    corners.left_top.x = v1[0] / v1[2];
    corners.left_top.y = v1[1] / v1[2];
    //左下角(0,src.rows,1)
    v2[0] = 0;
    v2[1] = src.rows;
    v2[2] = 1;
    V2 = Mat(3, 1, CV_64FC1, v2);  //列向量
    V1 = Mat(3, 1, CV_64FC1, v1);  //列向量
    V1 = H * V2;
    corners.left_bottom.x = v1[0] / v1[2];
    corners.left_bottom.y = v1[1] / v1[2];
    //右上角(src.cols,0,1)
    v2[0] = src.cols;
    v2[1] = 0;
    v2[2] = 1;
    V2 = Mat(3, 1, CV_64FC1, v2)
  • 0
    点赞
  • 5
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
### 回答1: 要将三张图片拼接起来,可以使用OpenCV中的特征点检测和匹配算法。以下是一种基本的实现方法: 1. 读入三张图片并转换成灰度图: ```python import cv2 import numpy as np img1 = cv2.imread('image1.jpg') img2 = cv2.imread('image2.jpg') img3 = cv2.imread('image3.jpg') gray1 = cv2.cvtColor(img1, cv2.COLOR_BGR2GRAY) gray2 = cv2.cvtColor(img2, cv2.COLOR_BGR2GRAY) gray3 = cv2.cvtColor(img3, cv2.COLOR_BGR2GRAY) ``` 2. 对每张图片进行特征点检测和描述子提取: ```python sift = cv2.xfeatures2d.SIFT_create() kp1, des1 = sift.detectAndCompute(gray1, None) kp2, des2 = sift.detectAndCompute(gray2, None) kp3, des3 = sift.detectAndCompute(gray3, None) ``` 3. 对每两张图片进行特征点匹配: ```python bf = cv2.BFMatcher() matches12 = bf.knnMatch(des1, des2, k=2) matches23 = bf.knnMatch(des2, des3, k=2) ``` 4. 选取匹配点对并进行筛选: ```python good_matches12 = [] for m,n in matches12: if m.distance < 0.75 * n.distance: good_matches12.append(m) good_matches23 = [] for m,n in matches23: if m.distance < 0.75 * n.distance: good_matches23.append(m) ``` 5. 计算变换矩阵并进行图像拼接: ```python MIN_MATCH_COUNT = 10 if len(good_matches12) > MIN_MATCH_COUNT and len(good_matches23) > MIN_MATCH_COUNT: src_pts = np.float32([kp1[m.queryIdx].pt for m in good_matches12]).reshape(-1, 1, 2) dst_pts = np.float32([kp2[m.trainIdx].pt for m in good_matches12]).reshape(-1, 1, 2) M12, _ = cv2.findHomography(src_pts, dst_pts, cv2.RANSAC, 5.0) src_pts = np.float32([kp2[m.queryIdx].pt for m in good_matches23]).reshape(-1, 1, 2) dst_pts = np.float32([kp3[m.trainIdx].pt for m in good_matches23]).reshape(-1, 1, 2) M23, _ = cv2.findHomography(src_pts, dst_pts, cv2.RANSAC, 5.0) h1, w1 = gray1.shape h2, w2 = gray2.shape h3, w3 = gray3.shape pts1 = np.float32([[0, 0], [0, h1], [w1, h1], [w1, 0]]).reshape(-1, 1, 2) pts2 = np.float32([[0, 0], [0, h2], [w2, h2], [w2, 0]]).reshape(-1, 1, 2) pts3 = np.float32([[0, 0], [0, h3], [w3, h3], [w3, 0]]).reshape(-1, 1, 2) dst1 = cv2.perspectiveTransform(pts1, M12) dst2 = cv2.perspectiveTransform(pts2, M12.dot(M23)) dst = np.concatenate((dst1, dst2, pts3), axis=0) warp_img1 = cv2.warpPerspective(img1, M12, (w2, h2)) warp_img2 = cv2.warpPerspective(img2, M12.dot(M23), (w3, h3)) result = np.zeros((int(dst[:, :, 1].max()), int(dst[:, :, 0].max()), 3), dtype=np.uint8) result[dst1[:, :, 1].min():dst1[:, :, 1].max(), dst1[:, :, 0].min():dst1[:, :, 0].max()] = warp_img1 result[dst2[:, :, 1].min():dst2[:, :, 1].max(), dst2[:, :, 0].min():dst2[:, :, 0].max()] = warp_img2 cv2.imshow('Result', result) cv2.waitKey(0) cv2.destroyAllWindows() ``` 这些代码将三张图片拼接在一起,并且可以自动处理图像的重叠部分。但是,这个方法有时会失败,因为它仅依赖于特征点的匹配。更复杂的算法可能需要使用多个图像,并且需要更先进的技术来对齐和融合图像。 ### 回答2: OpenCV是一个开源的计算机视觉库,可以用于处理图像和视频。在OpenCV中,可以通过提取图像特征点,来进行图像拼接图像特征点是图像中具有特殊属性的像素点,比如边缘、角点等。通过提取这些特征点,可以将图像进行对齐和拼接拼接三张图片的步骤如下: 1. 提取特征点:使用OpenCV中的特征点检测算法,比如SIFT(尺度不变特征变换)或SURF(加速稳健特征)算法,提取图像特征点。 2. 特征匹配:对提取到的特征点进行匹配,找到在不同图像中对应的特征点。可以使用OpenCV中的特征匹配算法,比如FLANN(近似最近邻匹配)和BFMatcher(暴力特征匹配)。 3. 图像对齐:通过计算特征点的几何变换关系,来对齐图像。可以使用OpenCV中的RANSAC(随机抽样一致性)算法,剔除错误的匹配点,得到准确的图像对齐结果。 4. 图像拼接:根据图像对齐的结果,对三张图像进行拼接。可以使用OpenCV中的透视变换算法,将对齐后的图像进行投影变换,实现图像拼接。 最后得到的拼接图像中,三张原始图片经过对齐和拼接的处理,形成一个大的图像。这个过程可以通过使用OpenCV提供的特征点检测、特征匹配和图像变换等功能来实现。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值