OpenCV 消除平面透视图像的射影失真_opencv消除仿射失真-CSDN博客

本文链接：https://blog.csdn.net/youngpan1101/article/details/53885689

本系列文章由 youngpan1101 出品，转载请注明出处。
文章链接： http://blog.csdn.net/youngpan1101/article/details/53885689
作者：宋洋鹏（youngpan1101）
邮箱： yangpeng_song@163.com

参考链接

配置环境( OpenCV 库 )

运行环境：ubuntu 14.04
下载 OpenCV 2.4.13 for Linux

安装流程

安装依赖项

$ sudo apt-get install build-essential libgtk2.0-dev libjpeg-dev libtiff4-dev libjasper-dev libopenexr-dev cmake python-dev python-numpy python-tk libtbb-dev libeigen3-dev yasm libfaac-dev libopencore-amrnb-dev libopencore-amrwb-dev libtheora-dev libvorbis-dev libxvidcore-dev libx264-dev libqt4-dev libqt4-opengl-dev sphinx-common texlive-latex-extra libv4l-dev libdc1394-22-dev libavcodec-dev libavformat-dev libswscale-dev default-jdk ant libvtk5-qt4-dev

解压

$ unzip opencv-2.4.13_linux.zip
$ cd opencv-2.4.13

编译生成 Makefile 文件

$ mkdir build 
$ cd build 
$ cmake .. -LH  # 查看 cmake 的可修改参数，实际运行可跳过该命令
$ cmake -D CMAKE_BUILD_TYPE=RELEASE -D CMAKE_INSTALL_PREFIX=/home/hwj/slambook/ThirdPartyLib ..

编译安装

$ make -j4
$ sudo make install

测试 OpenCV 库

CMakeLists.txt

  cmake_minimum_required(VERSION 2.8)
  project(perspective-transformation)

  # set compiler properties
  set(CMAKE_CXX_COMPILER "g++")

  # enable verbose makefile log
  set(CMAKE_VERBOSE_MAKEFILE on)

  # set the directory for executable file
  set(EXECUTABLE_OUTPUT_PATH ${PROJECT_SOURCE_DIR}/bin)

  # set the directory for output lib
  set(LIBRARY_OUTPUT_PATH ${PROJECT_SOURCE_DIR}/lib)
  link_directories(${LIBRARY_OUTPUT_PATH})

  # set the directory for header install_files
  include_directories(${PROJECT_SOURCE_DIR}/include)

  # set the directory for source files
  set(SOURCE_DIR ${PROJECT_SOURCE_DIR}/src)
  set(MAIN_SRC ${SOURCE_DIR}/main.cpp)
  add_executable(perspective-transformation-demo ${MAIN_SRC})

  # add opencv lib
  set(OpenCV_2_4_13_INCLUDE_DIR /home/hwj/slambook/ThirdPartyLib/include)
  include_directories(${OpenCV_2_4_13_INCLUDE_DIR})
  set(OpenCV_2_4_13_LIBS_DIR /home/hwj/slambook/ThirdPartyLib/lib)
  set(OpenCV_2_4_13_LIBS ${OpenCV_2_4_13_LIBS_DIR}/libopencv_core.so
                         ${OpenCV_2_4_13_LIBS_DIR}/libopencv_imgproc.so
                         ${OpenCV_2_4_13_LIBS_DIR}/libopencv_highgui.so)

  # produce lib 


  # link libs
  target_link_libraries(perspective-transformation-demo ${OpenCV_2_4_13_LIBS} -lstdc++ -lpthread)

src/main.cpp

  #include <iostream>
  //opencv Header
  #include <opencv2/core/core.hpp>
  #include <opencv2/imgproc/imgproc.hpp>
  #include <opencv2/highgui/highgui.hpp>

  int main(int argc, char** argv)
  {
    std::cout << "Hello world..." << std::endl;

    std::string imgPath = "../img_L90_W54.jpg";
    cv::Mat img = cv::imread(imgPath);

    if(img.empty())
    {
      std::cout << "fail to load image..." << std::endl;
      return -1;
    }

    cv::namedWindow("image", CV_WINDOW_AUTOSIZE);
    cv::imshow("image", img);
    cv::waitKey(0);
    cv::destroyWindow("image");

    return 1;
  }

相机模型

建立四个坐标系：物体固联坐标系、相机坐标系、图像坐标系和像素坐标系。
设物体固联坐标系上一点坐标为 $P_{b}$ , 该点经过旋转+平移变换到相机坐标系下 $P_{cam}$ ：
$⎡ ⎣ ⎢ ⎢ ⎢ x c a m y c a m z c a m 1 ⎤ ⎦ ⎥ ⎥ ⎥ = ⎡ ⎣ ⎢ ⎢ ⎢ ⎢ r 11 r 21 r 31 0 r 12 r 22 r 32 0 r 13 r 23 r 33 0 t x t y t z 1 ⎤ ⎦ ⎥ ⎥ ⎥ ⎥ ⎡ ⎣ ⎢ ⎢ ⎢ x b y b z b 1 ⎤ ⎦ ⎥ ⎥ ⎥ (1)$ $\left[ \begin{matrix} x_{cam} \\ y_{cam} \\ z_{cam} \\ 1 \end{matrix} \right] = \left[ \begin{matrix} r_{11} & r_{12} & r_{13} & t_{x} \\ r_{21} & r_{22} & r_{23} & t_{y} \\ r_{31} & r_{32} & r_{33} & t_{z} \\ 0 & 0 & 0 & 1 \end{matrix} \right] \left[ \begin{matrix} x_{b} \\ y_{b} \\ z_{b} \\ 1 \end{matrix} \right] \tag{1}$
相机坐标系下 $P_{cam}$ 经透视投影(perspective projection)变换到图像坐标系下 $P_{img}$ ：
$x i m g x c a m = y i m g y c a m = f z c a m (2)$ $\frac{x_{img}}{x_{cam}}=\frac{y_{img}}{y_{cam}}=\frac{f}{z_{cam}} \tag{2}$
式中：
$f$ —— 相机焦距。
由式 (2) 得：
$z c a m ⎡ ⎣ ⎢ x i m g y i m g 1 ⎤ ⎦ ⎥ = ⎡ ⎣ ⎢ f 00 0 f 0 001000 ⎤ ⎦ ⎥ ⎡ ⎣ ⎢ ⎢ ⎢ x c a m y c a m z c a m 1 ⎤ ⎦ ⎥ ⎥ ⎥ (3)$ $z_{cam} \left[ \begin{matrix} x_{img} \\ y_{img} \\ 1 \end{matrix} \right] = \left[ \begin{matrix} f & 0 & 0 & 0 \\ 0 & f & 0 & 0 \\ 0 & 0 & 1 & 0 \end{matrix} \right] \left[ \begin{matrix} x_{cam} \\ y_{cam} \\ z_{cam} \\ 1 \end{matrix} \right] \tag{3}$
图像坐标系下 $P_{img}$ 经仿射变换(affine transformation)变换到像素坐标系下 $\left[\begin{matrix} u & v \end{matrix}\right]^{T}$ ：
$⎡ ⎣ ⎢ u v 1 ⎤ ⎦ ⎥ = ⎡ ⎣ ⎢ ⎢ ⎢ ⎢ ⎢ 1 d x 00 0 1 d y 0 u 0 v 0 1 ⎤ ⎦ ⎥ ⎥ ⎥ ⎥ ⎥ ⎡ ⎣ ⎢ x i m g y i m g 1 ⎤ ⎦ ⎥ (4)$ $\left[ \begin{matrix} u \\ v \\ 1 \end{matrix} \right] = \left[ \begin{matrix} \frac{1}{dx} & 0 & u_{0} \\ 0 & \frac{1}{dy} & v_{0} \\ 0 & 0 & 1 \\ \end{matrix} \right] \left[ \begin{matrix} x_{img} \\ y_{img} \\ 1 \end{matrix} \right] \tag{4}$
式中：
$u_{0}, v_{0}$ —— 相机坐标系原点（光心）在像素坐标系中的坐标，单位为像素；
$dx, dy$ —— 图像上每一个像素点在 $u$ 轴、 $v$ 轴方向上的物理尺寸。
综合式 (1)、(3)和(4)，物体固联坐标系下 $P_{b}$ 变换到像素坐标系下 $\left[\begin{matrix} u&v \end{matrix}\right]^{T}$ ：
$z c a m ⎡ ⎣ ⎢ u v 1 ⎤ ⎦ ⎥ = ⎡ ⎣ ⎢ ⎢ ⎢ ⎢ ⎢ 1 d x 00 0 1 d y 0 u 0 v 0 1 ⎤ ⎦ ⎥ ⎥ ⎥ ⎥ ⎥ ⎡ ⎣ ⎢ f 00 0 f 0 001000 ⎤ ⎦ ⎥ ⎡ ⎣ ⎢ ⎢ ⎢ ⎢ r 11 r 21 r 31 0 r 12 r 22 r 32 0 r 13 r 23 r 33 0 t x t y t z 1 ⎤ ⎦ ⎥ ⎥ ⎥ ⎥ ⎡ ⎣ ⎢ ⎢ ⎢ x b y b z b 1 ⎤ ⎦ ⎥ ⎥ ⎥ (5)$ $z_{cam} \left[ \begin{matrix} u \\ v \\ 1 \end{matrix} \right] = \left[ \begin{matrix} \frac{1}{dx} & 0 & u_{0} \\ 0 & \frac{1}{dy} & v_{0} \\ 0 & 0 & 1 \\ \end{matrix} \right] \left[ \begin{matrix} f & 0 & 0 & 0 \\ 0 & f & 0 & 0 \\ 0 & 0 & 1 & 0 \end{matrix} \right] \left[ \begin{matrix} r_{11} & r_{12} & r_{13} & t_{x} \\ r_{21} & r_{22} & r_{23} & t_{y} \\ r_{31} & r_{32} & r_{33} & t_{z} \\ 0 & 0 & 0 & 1 \end{matrix} \right] \left[ \begin{matrix} x_{b} \\ y_{b} \\ z_{b} \\ 1 \end{matrix} \right] \tag{5}$

共面点成像 —— planar homography

透视变换(Perspective Transformation)是将图片投影到一个新的视平面(Viewing Plane)，也称作投影映射(Projective Mapping)、射影变换或单应(homography)。而共面点成像则是透视变换中一个特殊情况，即考虑一个平面里点的坐标变换。对于共面的物点，可以令固联坐标系中一个坐标值为 0，不妨设第三维坐标为0( 即 $z_{b}=0$ )，由式 (5) 得：

z c a m ⎡ ⎣ ⎢ u v 1 ⎤ ⎦ ⎥ = ⎡ ⎣ ⎢ ⎢ ⎢ ⎢ ⎢ 1 d x 00 0 1 d y 0 u 0 v 0 1 ⎤ ⎦ ⎥ ⎥ ⎥ ⎥ ⎥ ⎡ ⎣ ⎢ f 00 0 f 0 001000 ⎤ ⎦ ⎥ ⎡ ⎣ ⎢ ⎢ ⎢ ⎢ r 11 r 21 r 31 0 r 12 r 22 r 32 0 r 13 r 23 r 33 0 t x t y t z 1 ⎤ ⎦ ⎥ ⎥ ⎥ ⎥ ⎡ ⎣ ⎢ ⎢ ⎢ x b y b 01 ⎤ ⎦ ⎥ ⎥ ⎥

$z_{cam} \left[ \begin{matrix} u \\ v \\ 1 \end{matrix} \right] = \left[ \begin{matrix} \frac{1}{dx} & 0 & u_{0} \\ 0 & \frac{1}{dy} & v_{0} \\ 0 & 0 & 1 \\ \end{matrix} \right] \left[ \begin{matrix} f & 0 & 0 & 0 \\ 0 & f & 0 & 0 \\ 0 & 0 & 1 & 0 \end{matrix} \right] \left[ \begin{matrix} r_{11} & r_{12} & r_{13} & t_{x} \\ r_{21} & r_{22} & r_{23} & t_{y} \\ r_{31} & r_{32} & r_{33} & t_{z} \\ 0 & 0 & 0 & 1 \end{matrix} \right] \left[ \begin{matrix} x_{b} \\ y_{b} \\ 0 \\ 1 \end{matrix} \right]$

= ⎡ ⎣ ⎢ ⎢ ⎢ ⎢ ⎢ 1 d x 00 0 1 d y 0 u 0 v 0 1 ⎤ ⎦ ⎥ ⎥ ⎥ ⎥ ⎥ ⎡ ⎣ ⎢ f 00 0 f 0 001 ⎤ ⎦ ⎥ ⎡ ⎣ ⎢ r 11 r 21 r 31 r 12 r 22 r 32 t x t y t z ⎤ ⎦ ⎥ ⎡ ⎣ ⎢ x b y b 1 ⎤ ⎦ ⎥ (6)

$= \left[ \begin{matrix} \frac{1}{dx} & 0 & u_{0} \\ 0 & \frac{1}{dy} & v_{0} \\ 0 & 0 & 1 \\ \end{matrix} \right] \left[ \begin{matrix} f & 0 & 0 \\ 0 & f & 0 \\ 0 & 0 & 1 \end{matrix} \right] \left[ \begin{matrix} r_{11} & r_{12} & t_{x} \\ r_{21} & r_{22} & t_{y} \\ r_{31} & r_{32} & t_{z} \\ \end{matrix} \right] \left[ \begin{matrix} x_{b} \\ y_{b} \\ 1 \end{matrix} \right] \tag{6}$
式 (6) 可以简化为：

z c a m ⎡ ⎣ ⎢ u v 1 ⎤ ⎦ ⎥ = ⎡ ⎣ ⎢ h 11 h 21 h 31 h 12 h 22 h 32 h 13 h 23 h 33 ⎤ ⎦ ⎥ ⎡ ⎣ ⎢ x b y b 1 ⎤ ⎦ ⎥ = H ⎡ ⎣ ⎢ x b y b 1 ⎤ ⎦ ⎥ (7)

$z_{cam} \left[ \begin{matrix} u \\ v \\ 1 \end{matrix} \right] = \left[ \begin{matrix} h_{11} & h_{12} & h_{13} \\ h_{21} & h_{22} & h_{23} \\ h_{31} & h_{32} & h_{33} \\ \end{matrix} \right] \left[ \begin{matrix} x_{b} \\ y_{b} \\ 1 \end{matrix} \right] = H \left[ \begin{matrix} x_{b} \\ y_{b} \\ 1 \end{matrix} \right] \tag{7}$
由式 (7) 可得像素坐标系下

u $u$ 和

v $v$ ：

u = h 11 x b + h 12 y b + h 13 h 31 x b + h 32 y b + h 33, v = h 21 x b + h 22 y b + h 23 h 31 x b + h 32 y b + h 33 (8)

$\begin{matrix} u = \frac{h_{11}x_{b}+h_{12}y_{b}+h_{13}}{h_{31}x_{b}+h_{32}y_{b}+h_{33}} , v = \frac{h_{21}x_{b}+h_{22}y_{b}+h_{23}}{h_{31}x_{b}+h_{32}y_{b}+h_{33}} \end{matrix} \tag{8}$
对式 (8) 进行重排，得：

h 11 x b + h 12 y b + h 13 - h 31 x b u - h 32 y b u - h 33 u = 0 h 21 x b + h 22 y b + h 23 - h 31 x b v - h 32 y b v - h 33 v = 0 (9)

$\begin{matrix} h_{11}x_{b}+h_{12}y_{b}+h_{13}-h_{31}x_{b}u-h_{32}y_{b}u-h_{33}u=0 \\ h_{21}x_{b}+h_{22}y_{b}+h_{23}-h_{31}x_{b}v-h_{32}y_{b}v-h_{33}v=0 \end{matrix} \tag{9}$
式 (9) 是关于

H $H$ 矩阵元素的线性方程，这里设

h33=1 $h_{33}=1$ （射影变换有八个自由度），四组点对应提供给八个这样的关于

H $H$ 元素的线性方程，并足以解出

H $H$ （仅相差一个不重要的乘法因子），唯一的限制是这四点必须在“一般位置”上，即要求没有三个点共线。用此方法计算变换

H $H$ 的逆矩阵，然后作用于整幅图像，便可消除被选平面的射影失真效应。这里列出四个点组成的线性方程组：

⎡ ⎣ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ x b 1 0 x b 2 0 x b 3 0 x b 4 0 y b 1 0 y b 2 0 y b 3 0 y b 4 0 10101010 0 x b 1 0 x b 2 0 x b 3 0 x b 4 0 y b 1 0 y b 2 0 y b 3 0 y b 4 01010101 - x b 1 u 1 - x b 1 v 1 - x b 2 u 2 - x b 2 v 2 - x b 3 u 3 - x b 3 v 3 - x b 4 u 4 - x b 4 v 4 - y b 1 u 1 - y b 1 v 1 - y b 2 u 2 - y b 2 v 2 - y b 3 u 3 - y b 3 v 3 - y b 4 u 4 - y b 4 v 4 ⎤ ⎦ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎡ ⎣ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ h 11 h 12 h 13 h 21 h 22 h 23 h 31 h 32 ⎤ ⎦ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ = ⎡ ⎣ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ u 1 v 1 u 2 v 2 u 3 v 3 u 4 v 4 ⎤ ⎦ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ (10)

$\left[ \begin{matrix} x_{b1} & y_{b1} & 1 & 0 & 0 & 0 & -x_{b1}u_{1} & -y_{b1}u_{1} \\ 0 & 0 & 0 & x_{b1} & y_{b1} & 1 & -x_{b1}v_{1} & -y_{b1}v_{1} \\ x_{b2} & y_{b2} & 1 & 0 & 0 & 0 & -x_{b2}u_{2} & -y_{b2}u_{2} \\ 0 & 0 & 0 & x_{b2} & y_{b2} & 1 & -x_{b2}v_{2} & -y_{b2}v_{2} \\ x_{b3} & y_{b3} & 1 & 0 & 0 & 0 & -x_{b3}u_{3} & -y_{b3}u_{3} \\ 0 & 0 & 0 & x_{b3} & y_{b3} & 1 & -x_{b3}v_{3} & -y_{b3}v_{3} \\ x_{b4} & y_{b4} & 1 & 0 & 0 & 0 & -x_{b4}u_{4} & -y_{b4}u_{4} \\ 0 & 0 & 0 & x_{b4} & y_{b4} & 1 & -x_{b4}v_{4} & -y_{b4}v_{4} \\ \end{matrix} \right] \left[ \begin{matrix} h_{11} \\ h_{12} \\ h_{13} \\ h_{21} \\ h_{22} \\ h_{23} \\ h_{31} \\ h_{32} \\ \end{matrix} \right] = \left[ \begin{matrix} u_{1} \\ v_{1} \\ u_{2} \\ v_{2} \\ u_{3} \\ v_{3} \\ u_{4} \\ v_{4} \\ \end{matrix} \right] \tag{10}$
即