图像畸变与去畸变

本文主要介绍图像畸变产生的原因，广角镜头的一般畸变模型和去畸变的方法。

1.图像畸变

图像畸变是由于透镜制造精度以及组装工艺的偏差会引入畸变，导致原始图像失真。镜头的畸变分为径向畸变和切向畸变两类。

1.1 径向畸变与畸变模型

径向畸变是由于镜头自身凸透镜的固有特性造成的，产生原因是光线在远离透镜中心的地方比靠近中心的地方更加弯曲。

畸变沿着透镜半径方向分布，主要包括桶形畸变和枕形畸变两种，如下图所示：

                    正常物体                                                       枕形畸变                                                        桶形畸变

畸变的数学模型可以用主点（principle point）周围的泰勒级数展开式的前几项进行描述，通常使用前两项，即k1和k2，对于畸变很大的镜头，可以增加使用第三项k3来进行描述：

   

其中，(x,y)是非畸变的坐标位置，(x0,y0)是畸变后的坐标位置。成像仪光轴中心的畸变为0，沿着镜头半径方向向边缘移动，畸变越来越严重。

1.2 切向畸变与畸变模型

切向畸变是由于透镜本身与相机传感器平面（成像平面）或图像平面不平行而产生的，这种情况多是由于透镜被粘贴到镜头模组上的安装偏差导致。

畸变模型可以用两个参数p1和p2来描述：

  

其中，(x,y)是非畸变的坐标位置，(x0,y0)是畸变后的坐标位置。

注意：

1）所有的畸变计算均在摄像机坐标系下进行。

2）每个镜头的畸变系数[k1,k2,k3,p1,p2]，可以通过标定得出。

 

2.图像去畸变

从镜头获取的原始图像，都是存在第一部分所述的两种畸变的，为了后续进行更好的图像操作，我们需要首先执行去畸变过程：

1）首先将像素坐标(u,v)转到摄像机坐标系下（通过camera内参）：

x=(u-cx)/fx；

y=(v-cy)/fy；

z=1;//单位平面

2）计算畸变量：

3）畸变位置：

4）将该摄像机坐标系下的坐标转到像素坐标系下：

for (int v = 0; v < grayimg.rows; v++)
{
     for (int u = 0; u < grayimg.cols; u++)
     {

         image_de_distort.at<unsigned char>(v, u) = imgsrc.at<unsigned char>(v′, u′);

     }

}

imgsrc是直接获取的有畸变的图像， image_de_distort是去畸变后的图像。

        

                                    原始图像（存在畸变）                                                                                    去畸变后的图像

 

第二部分：

摄像头模组的畸变是无法避免的，那为了保证相机的成像质量，必然涉及到图像的畸变处理，这里试图说明Brown畸变模型下的去畸变和加畸变的原理和过程，多项式畸变的处理方式类似。

1. 像素位置加畸变和去畸变

畸变前的像素位置和畸变后的像素位置关系式：

从未畸变的像素位置变换到畸变的位置这一正向过程比较简单，直接套用公式就可以得到。从畸变的像素位置得到去畸变后的像素位置是比较复杂的，这是一个逆向的过程，由于函数关系是单调的，一般采用迭代法，这样方便编程实现和计算机的计算

2. 线性插值和双线性插值

插值法常用于计算周围点的之间点的值，插值法分为线性插值、双线性插值、三次样条插值等，这里介绍线性插值和双线性插值的原理，双线性插值在图像像素的插值中被频繁采用。线性插值如公式：

从公式中可以看出该线性插值的含义：以距离为权重，加权y1、y2得到的值。

双线性插值法：双线性插值是线性插值的扩展，像素值双线性插值的示意如图所示。

X方向的插值为： 

Y方向的插值为：

最后得到双线性的插值结果：

 

双线性插值在图像的过滤、变换、形态学处理、去畸变、加畸变用得很多。

3. 图像去畸变和加畸变的过程

图像去畸变是指依据畸变参数，将图像恢复到畸变前。图像去畸变的过程示意如图所示。

    

图左中rectified image是去畸变后的图像REC，distorted image为畸变后的图像DIS。去畸变流程如下：

1. 按顺序对REC中的像素位置加畸变处理，得到畸变后的浮点像素位置映射图
2. 基于映射图，找到REC像素位置在DIS中的对应位置P，对P的4个邻位置的像素值进行双线性插值得到P点的像素值。
3. 这样REC的每个位置都从DIS中找到了对应的像素值，从而得到去畸变后的图像。

图像加畸变的过程和图像去畸变的过程相反，如图右所示，加畸变的像素位置进行去畸变处理，找到在未畸变图像中的对应位置，双线性插值计算其像素值，从而得到加畸变的图像。