双目视觉（六）U-V视差

火柴的初心

已于 2023-04-23 15:46:05 修改

阅读量1.1w

点赞数 11

分类专栏：双目视觉文章标签：数码相机

于 2020-04-03 22:47:11 首次发布

本文链接：https://blog.csdn.net/He3he3he/article/details/105293258

版权

双目视觉专栏收录该内容

9 篇文章 99 订阅

订阅专栏

系列文章：

因为在自己的工作中需要剔除行驶的地面，要用到U-V视差，所以写这篇博客主要是记录自己学习到的相关内容。如果写的有问题可以在评论中指出。

实践部分

【项目实战】利用Ｕ-V视差进行地面检测【链接】
【项目实践】U-V视差路面检测之动态规划【链接】
【项目实践】开源代码【链接】

1.原理：

双目系统

双目相机系统如下图所示：f为焦距，b为基线，P(X,Y,Z)为三维点。我们可以得到视差的公式如下：（双目视觉系统）

模型推导

首先，当我们使用双目相机拍摄真实世界时，如下图所示，(Xw ,Yw , Zw )为世界坐标系，(Xl ,Yl , Zl)为左相机坐标系，（Xr ,Yr , Zr）为右相机坐标系。

对于世界坐标系和左相机坐标系，存在着b/2的平移，以及一个旋转角θ
对于世界坐标系和右相机坐标系，存在着b/2的平移，以及一个旋转角θ

那么，从世界坐标系到左右相机坐标的变换矩阵为：

其次，我们预先通过标定知道了左右相机的内参矩阵为：

当相机的内参和外参都知道了，根据针孔相机模型，就可以计算处相机的投影矩阵P=K[R|t]

使用矩阵的乘法公式对其进行展开得到：

由d=ul-ur得到视差：

2.U-V视差的构造

U视差的构造

U-disparityMap的列对应于原始视差图的列；

U-disparityMap中(d,u) = 原始视差图中第u列，视差为d的个数。

V视差的构造

V-disparityMap的行对应于原始视差图的行；

V-disparityMap中(v,d) = 原始视差图中第v行，视差为d的个数。

3.各种3D平面在U-V视差中的投影

4.实例

1.左图像，右图像，视差图像

2.U-视差，V-视差

3.对U-V视差图使用霍夫变换检测线

①，⑤：近似直线，如图中的球体和圆锥；

② 11：地平面在V视差中的投影为直线；

⑥，⑦：侧面的墙在U视差中的投影为直线；

⑨ ：垂直障碍物；

③④⑧⑩：垂直墙面的转角处；

4.3D重建的结构

5.Opencv实现

双目匹配（这里我们使用Opencv中自带的SGBM算法）

    //SGBM param
    int mMaxDisp = 128;
    int mP1 = 100;
    int mP2 = 2700;
    int mWinSize = 4;
    int mPreFilterCap = 180;

    //create SGBM
    cv::Ptr<cv::StereoSGBM> mSGBM=cv::StereoSGBM::create(0,mMaxDisp,mWinSize,mP1,mP2,0,mPreFilterCap,5,0,0,cv::StereoSGBM::MODE_HH);

    // read image
    cv::Mat left=cv::imread("../image/I1_000000.png");
    cv::Mat right=cv::imread("../image/I2_000000.png");
    cv::Mat disp16s,disp;

    //compute disparity
    mSGBM->compute(left,right,disp16s);
    disp16s=disp16s/16;
    disp16s.convertTo(disp,CV_8UC1);

计算U视差图

cv::Mat UdispMap=cv::Mat(mMaxDisp,disp.cols,CV_16UC1);
void computeUDisparity(cv::Mat &UdispMap,cv::Mat disp)
{
    UdispMap.setTo(0);
    int width=disp.cols;
    int height=disp.rows;

    for(int row=0;row<height;row++)
    {
        auto  pRowInDisp=disp.ptr<uchar>(row);
        for(int col=0;col<width;col++)
        {
            uint8_t currDisp=pRowInDisp[col];
            if(currDisp>0&&currDisp<128)
            {
                UdispMap.at<ushort>(currDisp,col)++;
            }
        }
    }
}

计算Ｖ视差图

cv::Mat VdispMap=cv::Mat(disp.rows,mMaxDisp,CV_16UC1);
void computeVDisparity(cv::Mat &VdispMap,cv::Mat disp)
{
    VdispMap.setTo(0);
    int width=disp.cols;
    int height=disp.rows;

    for(int row=0;row<height;row++)
    {
        auto  pRowInDisp=disp.ptr<uchar>(row);
        for(int col=0;col<width;col++)
        {
            uint8_t currDisp=pRowInDisp[col];
            if(currDisp>0&&currDisp<128)
            {
                VdispMap.at<ushort>(row,currDisp)++;
            }

        }
    }
}

原图像

Ｕ视差

Ｖ视差

U视差用来剔除障碍物（10为阈值）

cv::Mat removeObstacle(cv::Mat Disparity,cv::Mat Udisparity)
{
    cv::Mat mObstacleMap;
    mObstacleMap.create(Disparity.rows, Disparity.cols, CV_8UC1);

    mObstacleMap.setTo(0);

    int height = Disparity.rows;
    int width = Disparity.cols;


    for (int v = 0; v < height; v++)
    {
        uint8_t* pRowInDisp = Disparity.ptr<uchar>(v);
        uint8_t* pRowInObsMap = mObstacleMap.ptr<uchar>(v);
        for (int u = 0; u < width; u++)
        {
            uint8_t currDisp = pRowInDisp[u];
            if (currDisp < 128 && Udisparity.at<ushort>(currDisp, u) > 10)
                pRowInObsMap[u] = 255;
        }
    }
    return mObstacleMap;

}