opencv系列之一 利用透视变换实现图像的俯视图(正视图)

课题需要,前段时间一直在研究鸟瞰图,因为当摄像机和目标物有一个倾斜角的时候,采集到的图像会有一个透视畸变,而我们做图像处理,需要得到的是感兴趣部分的正视图,如下面两幅图所示。而我发现,鸟瞰图实现不了我想要的功能,因为我只需要感兴趣部分就可以了。后来发现,采用透视变换和透视矫正,可以很好的实现这个功能。下面详细地介绍了这个方法。

原文网址:http://opencv-code.com/tutorials/automatic-perspective-correction-for-quadrilateral-objects/#comment-193

perspective-quadrilateral-src-img.jpg                            perspective-quadrilateral-dst-thumb.jpg

 

具体流程为:

a)载入图像→灰度化→边缘处理得到边缘图像(edge map)

cv::Mat im = cv::imread(filename);

cv::Mat gray;

cvtColor(im,gray,CV_BGR2GRAY);

Canny(gray,gray,100,150,3);

b)霍夫变换进行直线检测,此处使用的是probabilistic Hough transform(cv::HoughLinesP)而不是standard Hough transform(cv::HoughLines)

std::vector<Vec4i> lines;

cv::HoughLinesP(gray,lines,1,CV_PI/180,70,30,10);

for(int i = 0; i < lines.size(); i++)

    line(im,cv::Point(lines[i][0],lines[i][1]),cv::Point(lines[i][2],lines[i][3]),Scalar(255,0,0),2,8,0);

c)通过上面的图我们可以看出,通过霍夫变换检测到的直线并没有将整个边缘包含,但是我们要求的是四个顶点所以并不一定要直线真正的相交,下面就要求四个顶点的坐标,公式为:

perspective-quadrilateral-line-intersections-equation.png

 

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
cv::Point2f computeIntersect(cv::Vec4i a, cv::Vec4i b)
{
    int x1 = a[0], y1 = a[1], x2 = a[2], y2 = a[3];
    int x3 = b[0], y3 = b[1], x4 = b[2], y4 = b[3];
 
    if (float d = ((float)(x1-x2) * (y3-y4)) - ((y1-y2) * (x3-x4)))
    {
        cv::Point2f pt;
        pt.x = ((x1*y2 - y1*x2) * (x3-x4) - (x1-x2) * (x3*y4 - y3*x4)) / d;
        pt.y = ((x1*y2 - y1*x2) * (y3-y4) - (y1-y2) * (x3*y4 - y3*x4)) / d;
        return pt;
    }
    else
        return cv::Point2f(-1, -1);
}
  

  

1
2
3
4
5
6
7
8
9
10
std::vector<cv::Point2f> corners;
for (int i = 0; i < lines.size(); i++)
{
    for (int j = i+1; j < lines.size(); j++)
    {
        cv::Point2f pt = computeIntersect(lines[i], lines[j]);
        if (pt.x >= 0 && pt.y >= 0)
            corners.push_back(pt);
    }
}

 
d)检查是不是四边形
1
2
3
4
5
6
7
8
9
std::vector<cv::Point2f> approx;
cv::approxPolyDP(cv::Mat(corners), approx,
                 cv::arcLength(cv::Mat(corners), true) * 0.02, true);
 
if (approx.size() != 4)
{
    std::cout << "The object is not quadrilateral!" << std::endl;
    return -1;
}

  

 
e)确定四个顶点的具体位置(top-left, bottom-left, top-right, and bottom-right corner)→通过四个顶点求出映射矩阵来.
void sortCorners(std::vector<cv::Point2f>& corners, cv::Point2f center)
{
    std::vector<cv::Point2f> top, bot;
 
    for (int i = 0; i < corners.size(); i++)
    {
        if (corners[i].y < center.y)
            top.push_back(corners[i]);
        else
            bot.push_back(corners[i]);
    }
 
    cv::Point2f tl = top[0].x > top[1].x ? top[1] : top[0];
    cv::Point2f tr = top[0].x > top[1].x ? top[0] : top[1];
    cv::Point2f bl = bot[0].x > bot[1].x ? bot[1] : bot[0];
    cv::Point2f br = bot[0].x > bot[1].x ? bot[0] : bot[1];
 
    corners.clear();
    corners.push_back(tl);
    corners.push_back(tr);
    corners.push_back(br);
    corners.push_back(bl);
}

 下面是获得中心点坐标然后利用上面的函数确定四个顶点的坐标

for (int i = 0; i < corners.size(); i++)
    center += corners[i];
 
center *= (1. / corners.size());
sortCorners(corners, center);

 定义目的图像并初始化为0

cv::Mat quad = cv::Mat::zeros(300, 220, CV_8UC3);

 获取目的图像的四个顶点

std::vector<cv::Point2f> dst_pt;
dst.push_back(cv::Point2f(0,0));
dst.push_back(cv::Point2f(quad.cols,0));
dst.push_back(cv::Point2f(quad.cols,quad.rows));
dst.push_back(cv::Point2f(0,quad.rows));

 计算映射矩阵

cv::Mat transmtx = cv::getPerspectiveTransform(corners, quad_pts);

进行透视变换并显示结果

cv::warpPerspective(im, quad, transmtx, quad.size());
cv::imshow("quadrilateral", quad);

事实上,此方法采用了透视变换,将图像平面映射到了显示窗口所在的平面,另外,哪怕不采用霍夫变换直线拟合,只要能确定扑克牌四个点的像素坐标(比如鼠标事件),就可以求得单应性矩阵,完成变换。
展开阅读全文

没有更多推荐了,返回首页