视场（FOV）补偿与分辨率（Resolution）补偿

视场（FOV）补偿与分辨率（Resolution）补偿

0. 前言

如何将两个参数不一致的相机拍摄的图像变换成一个立体对？本文认为需要从两个方面进行：1.补偿；2.立体校正。本文主要讨论补偿部分的一些方法，相机的参数不一致常常表现在如焦距$f$、分辨率（resolution）以及视场（FOV）大小不同。从视场补偿和分辨率补偿进行讨论，利用ROI截取和图像上采样方法进行补偿。

1. 技术路线

2. FOV补偿

2.1 理论介绍

2.1.1 相机内参回顾

• 假设两个相机内参数分别为$K_1$和$K_2$，有$K_1=\left[\begin{array}{ccc}{f}_{x1}& {\gamma }_1& u_1\\ 0& f_{y1}& v_1\\ 0& 0& 1\end{array}\right]$、$K_2=\left[\begin{array}{ccc}{f}_{x2}& {\gamma }_2& u_2\\ 0& f_{y2}& v_2\\ 0& 0& 1\end{array}\right]$。

有关相机内参数的概念请参考相机模型；

一般的，有轴倾斜参数$\gamma =0$，$f_x$、$f_y$是以像素为单位的焦距，$(u,v)$为图像主点。

• 假设量相机的实际焦距（以mm为单位）分别为$f_1$和$f_2$，$\alpha$为$x$轴方向上系数，（单位为pixel/mm），$\beta$为$y$轴方向上系数，（单位为pixel/mm)
  • $\{\begin{array}{l}{f}_{x1}=f_1{\alpha }_1\\ f_{y1}=f_1{\beta }_1\end{array}$、$\{\begin{array}{l}{f}_{x2}=f_2{\alpha }_2\\ f_{y2}=f_2{\beta }_2\end{array}$

2.1.2 FOV

• 视场（FOV）由相机的焦距和传感器的尺寸决定，在其他条件不变的情况下，焦距越大视场越小；在其他条件不变的情况下，传感器尺寸越大视场越大；

  • 

• ,上图给出了垂直方向的视场角计算示意图，传感器的物理尺寸为$w\ast h$（单位：mm），垂直方向视场角$A_h=2arctan(\frac{h}{2f})$，同理水平方向视场角$A_w=2arctan(\frac{w}{2f})$。

  • 即$\{\begin{array}{l}{A}_h=2arctan(\frac{h}{2f})\\ A_w=2arctan(\frac{w}{2f})\end{array}(单位：mm)$

• 设图像大小为$W\ast H$（单位：pixel），将上式转化换为以像素为单位计算：$\{\begin{array}{l}{A}_h=2arctan(\frac{h\ast \alpha }{2f\ast \alpha })=2arctan(\frac{H}{2f_x})\\ A_w=2arctan(\frac{w\ast \beta }{2f\ast \beta })=2arctan(\frac{W}{2f_y})\end{array}(单位：pixel)$

2.1.3 FOV补偿

• FOV可以通过减小有效传感器尺寸进行调整，也就是说可以减小视场较大图像的有效区域以对齐视场较小的图像，如下图所示：
  • 
  • 补偿后的FOV计算公式为：$\{\begin{array}{l}{A}_h^{{}^{\prime }}=2arctan(\frac{H^{{}^{\prime }}}{2f_x})\\ A_w^{{}^{\prime }}=2arctan(\frac{W^{{}^{\prime }}}{2f_y})\end{array}(单位：pixel)$

由上面的分析我们可以看出来，FOV补偿的重点在于找到剪裁区域的大小，也就是$W^{{}^{\prime }}$和$H^{{}^{\prime }}$

• 一般的，在给定$A_h^{{}^{\prime }}$和$A_w^{{}^{\prime }}$的条件下有$\{\begin{array}{l}{H}^{{}^{\prime }}=2f_{x}tan(\frac{A_h^{{}^{\prime }}}{2})\\ W^{{}^{\prime }}=2f_{y}tan(\frac{A_w^{{}^{\prime }}}{2})\end{array}$
• 还有一种方式就是直接给出另一个相机的视场计算公式：
  • 设目标相机的图像大小为$W_t\ast H_t$
  • 像素焦距为$f_{xt}$和$f_{yt}$
  • 视场角为$A_{ht}$和$A_{wt}$
  • 计算公式为$\{\begin{array}{l}{A}_{ht}=2arctan(\frac{H_t}{2f_{xt}})\\ A_{wt}=2arctan(\frac{W_t}{2f_{yt}})\end{array}(单位：pixel)$
  • 要使$\{\begin{array}{l}{A}_{ht}=A_h^{{}^{\prime }}\\ A_{wt}=A_w^{{}^{\prime }}\end{array}$可以得到$\{\begin{array}{l}{A}_h^{{}^{\prime }}=2arctan(\frac{H^{{}^{\prime }}}{2f_x})=2arctan(\frac{H_t}{2f_{xt}})=A_{ht}\\ A_w^{{}^{\prime }}=2arctan(\frac{W^{{}^{\prime }}}{2f_y})=2arctan(\frac{W_t}{2f_{yt}})=A_{wt}\end{array}$
  • 进而得到$\{\begin{array}{l}2arctan(\frac{H^{{}^{\prime }}}{2f_x})=2arctan(\frac{H_t}{2f_{xt}})\\ 2arctan(\frac{W^{{}^{\prime }}}{2f_y})=2arctan(\frac{W_t}{2f_{yt}})\end{array}\Rightarrow \{\begin{array}{l}\frac{H^{{}^{\prime }}}{2f_x}=\frac{H_t}{2f_{xt}}\\ \frac{W^{{}^{\prime }}}{2f_y}=\frac{W_t}{2f_{yt}}\end{array}\Rightarrow \{\begin{array}{l}{H}^{{}^{\prime }}=\frac{f_x}{f_{xt}}{H}_t\\ W^{{}^{\prime }}=\frac{f_y}{f_{yt}}{W}_t\end{array}$
  • 设$\{\begin{array}{l}{\lambda }_1=\frac{f_x}{f_{xt}}\\ {\lambda }_2=\frac{f_y}{f_{yt}}\end{array}\Rightarrow \{\begin{array}{l}{H}^{{}^{\prime }}={\lambda }_1{H}_t\\ W^{{}^{\prime }}={\lambda }_2{W}_t\end{array}$

有两种特殊情况：

1. 正方形像素：${\lambda }_1={\lambda }_2$；
2. 两相机焦距相等（即$f=f_t$）：$\{\begin{array}{l}{\lambda }_1=\frac{f_x}{f_{xt}}=\frac{f\ast \alpha }{f_t\ast {\alpha }_t}=\frac{\alpha }{{\alpha }_t}\\ {\lambda }_2=\frac{f_y}{f_{yt}}=\frac{f\ast \beta }{f_t\ast {\beta }_t}=\frac{\beta }{{\beta }_t}\end{array}$

2.2 代码及实验结果

2.2.1 相机参数

• 实验所用到的相机：IR相机和RGB相机。

  • 设IR相机内参为$K_1=\left[\begin{array}{ccc}640.148& 0& 637.217\\ 0& 640.148& 367.655\\ 0& 0& 1\end{array}\right]$，RGB相机内参为$K_2=\left[\begin{array}{ccc}921.586& 0& 647.508\\ 0& 921.765& 356.499\\ 0& 0& 1\end{array}\right]$
  • 原始分辨率都为1280×720
  • IR相机的视场更大，因此需要进行FOV补偿

• 计算补偿后的图像宽和高

  • 利用$\{\begin{array}{l}{H}^{{}^{\prime }}=\frac{f_x}{f_{xt}}{H}_t\\ W^{{}^{\prime }}=\frac{f_y}{f_{yt}}{W}_t\end{array}$
  • 其中$H_t=720$，$W_t=1280$，结合相机内参得到
  • $\{\begin{array}{l}{H}^{{}^{\prime }}=\frac{f_x}{f_{xt}}{H}_t=\frac{640.148}{921.586}\ast 720=500\\ W^{{}^{\prime }}=\frac{f_y}{f_{yt}}{W}_t=\frac{640.148}{921.765}\ast 1280=890\end{array}$

2.2.2 代码

# -*- coding:utf-8 -*-
"""
@FileName  :ROI.py
@Time      :2022/4/28 9:13
@Author    :Jiayu

"""
import cv2


if __name__ == "__main__":
    src = cv2.imread("../IR/IR1_0.png", 1)
    # 复制原图
    proimage0 = src.copy()  
    x = 195
    y = 110
    w = 890
    h = 500
    # 在图像绘制ROI区域
    cv2.rectangle(img=src, pt1=(x, y), pt2=(x + w, y + h), color=(0, 0, 255), thickness=2)  
    cv2.imshow("roi", src)
    # 进行裁剪
    ImageROI = proimage0[y:y + h, x:x + w]
    cv2.imshow("ImageROI", ImageROI)
    cv2.imwrite("../IR//IR1ROI.png", ImageROI)

    cv2.waitKey(0)
    cv2.destroyAllWindows()

2.2.3 实验结果

• 
  • 可以发现IR图像的视场明显大于RGB图像
• 
• 
  • 可以发现经过补偿后的两幅图像视场是一致的。

3. Resolution补偿

一个标准的立体对要实现分辨率一致，那么就要进行分辨率补偿以达到分辨率一致的效果，采用的方法是图像上下采样，这里以图像上采样为例，将上述FOV补偿后的图像进行Resolution补偿。

• 分辨率补偿采用的是图像上采样方法，将裁剪后的图像进行上采样到1280*720
• 采用双三次插值或者Lanczos插值

代码：

# -*- coding:utf-8 -*-
"""
@FileName  :reSize.py
@Time      :2022/4/28 10:08
@Author    :Jiayu

"""

import numpy as np
import cv2


if __name__ == "__main__":
    '''
    resize(src, dsize, dst=None, fx=None, fy=None, interpolation=None)
    第一个参数，InputArray类型的src，输入图像，即源图像，填Mat类的对象即可。
    第二个参数，OutputArray类型的dst，输出图像，当其非零时，有着dsize（第三个参数）的尺寸，或者由src.size()计算出来。
    第三个参数，Size类型的dsize，输出图像的大小;如果它等于零，由下式进行计算：
    dsize=Size(round(fx*src.cols),round(fy*src.rows))
    
    其中，dsize，fx，fy都不能为0。
    
    第四个参数，double类型的fx，沿水平轴的缩放系数，有默认值0，且当其等于0时，由下式进行计算：
     (double)dsize.width/src.cols
    
    第五个参数，double类型的fy，沿垂直轴的缩放系数，有默认值0，且当其等于0时，由下式进行计算：
    (double)dsize.height/src.rows)
    第六个参数，int类型的interpolation，用于指定插值方式，默认为INTER_LINEAR（线性插值）。
    可选的插值方式如下：
    
    INTER_NEAREST - 最近邻插值
    INTER_LINEAR - 线性插值（默认值）
    INTER_AREA - 区域插值（利用像素区域关系的重采样插值）
    INTER_CUBIC –三次样条插值（超过4×4像素邻域内的双三次插值）
    INTER_LANCZOS4 -Lanczos插值（超过8×8像素邻域的Lanczos插值）
    若要缩小图像，一般情况下最好用CV_INTER_AREA来插值，
    
    而若要放大图像，一般情况下最好用CV_INTER_CUBIC（效率不高，慢，不推荐使用）或CV_INTER_LINEAR（效率较高，速度较快，推荐使用）。
    
    '''
    img = cv2.imread("../IR/IR1ROI.png", -1)
    '''-1：原图 0：灰度图 1：彩色图'''
    height, width = img.shape[:2]
    # 缩小图像
    # size = (int(width * 0.5), int(height * 0.5))
    # shrink = cv2.resize(img, size, interpolation=cv2.INTER_AREA)
    # 放大图像
    fx = 1280/890
    fy = 720/500
    # enlarge = cv2.resize(img, (0, 0), fx=fx, fy=fy, interpolation=cv2.INTER_CUBIC)
    enlarge = cv2.resize(img, (0, 0), fx=fx, fy=fy, interpolation=cv2.INTER_LANCZOS4)
    print(enlarge.shape[:2])

    # 显示
    cv2.imshow("src", img)
    #cv2.imshow("shrink", shrink)
    cv2.imshow("enlarge", enlarge)
    cv2.imwrite("../IR/IR1Upsampling.png", enlarge)
    original=cv2.imread("../IR/IR1ROI.png", -1)
    # cv2.imshow("difference", cv2.applyColorMap(cv2.subtract(enlarge, original), cv2.COLORMAP_JET))

    cv2.waitKey(0)
    cv2.destroyAllWindows()

4. 参考文献

Shin H, Sohn K. Asymmetric stereo imaging system for portable electronic devices[J]. Optical Engineering, 2012, 51(4): 043201. DOI:10.1117/1.OE.51.4.043201.