Field of View (FOV) compensation（视场补偿）

Field of View (FOV) compensation（视场补偿）通常是指在多摄像头系统或图像处理过程中，为了校正和匹配不同视角、镜头畸变或传感器差异而进行的一系列图像处理操作。它主要涉及几何变换、图像裁剪、对齐和视场矫正，确保图像在不同摄像头或不同拍摄条件下的一致性和准确性。

---

📐 1. 为什么需要 FOV Compensation？

在实际的多摄像头系统（如手机摄像头）或复杂成像场景中，FOV 可能会因为以下原因需要补偿：

1. 多摄像头系统
   • 主摄、超广角、长焦镜头的视场角不同，切换时需要补偿边缘视角差异，确保图像无跳变。
2. 镜头畸变
   • 宽视角镜头（如超广角镜头）会产生桶形、枕形等畸变，需要补偿矫正图像。
3. 数字变焦
   • 数码裁剪变焦会改变 FOV，需通过算法补偿图像信息损失。
4. 防抖 (EIS/OIS)
   • 电子或光学防抖会引起视场变化，需调整 FOV 以对齐原始图像。
5. 多帧融合
   • HDR、夜景等模式需要多帧对齐，必须进行 FOV 校正和几何补偿。

---

📊 2. FOV Compensation 的实现方式

① 几何变换（Geometric Transformation）

通过仿射变换或透视变换，对图像进行拉伸、缩放、旋转，校正镜头带来的几何畸变。常用方法包括：

• 平移补偿 (Translation Compensation)：对摄像头切换或防抖引起的视场偏移进行平移校正。
• 旋转补偿 (Rotation Compensation)：修正图像因摄像头旋转造成的偏移。
• 缩放补偿 (Scaling Compensation)：调整图像尺寸，确保多摄像头输出一致的视场角。

示例代码 (OpenCV)：

cv::Mat warpMatrix = cv::getPerspectiveTransform(srcPoints, dstPoints);
cv::warpPerspective(inputImage, outputImage, warpMatrix, outputImage.size());

② 畸变校正 (Lens Distortion Correction)

FOV 差异通常来源于镜头畸变，需通过相机标定参数进行校正。常见畸变类型：

• 桶形畸变 (Barrel Distortion)
• 枕形畸变 (Pincushion Distortion)

示例代码 (OpenCV)：

cv::Mat undistortedImage;
cv::undistort(inputImage, undistortedImage, cameraMatrix, distCoeffs);

③ 多摄像头融合 (Multi-Camera Stitching)

多摄像头切换时，需要保证图像视场的无缝衔接，避免视角跳变。FOV compensation 在多摄像头融合中，主要做以下工作：

• 视场对齐：对齐不同镜头输出，避免图像错位。
• 图像拼接：将多摄像头图像平滑融合，形成大视场图像。

---

📸 3. FOV Compensation 在实际场景的应用

① 多摄像头切换

在 Android 系统中，手机摄像头经常在主摄、广角、长焦间切换。FOV compensation 确保：

• 无跳变切换：当切换镜头时，视场对齐以避免画面抖动或视角变化。
• 图像缩放匹配：不同摄像头视场不一致，需对图像缩放、对齐。

在 Android Camera HAL (CamX) 中，FOV 补偿通常由 ISP 硬件和 HAL 软件配合完成，相关路径：

vendor/qcom/proprietary/camx/src/core/

② EIS（Electronic Image Stabilization，电子防抖）

电子防抖会裁剪图像的边缘，导致实际视场变窄，需进行 FOV 补偿。

• 实时调整视场，避免图像边缘丢失。
• 动态补偿畸变，确保画面稳定性和视觉一致性。

示例实现流程：

1. 计算传感器抖动轨迹。
2. 根据轨迹进行视场调整。
3. 进行图像拉伸和裁剪，完成 FOV 补偿。

---

③ 多帧 HDR、夜景模式

这些模式需要多次曝光并对齐图像，FOV compensation 主要用于：

• 图像对齐：对不同曝光帧进行几何校正。
• 视场缩放：防止多帧图像边缘错位或信息丢失。

---

✅ 4. FOV Compensation 的关键挑战

1. 精度要求高
   • 需要准确的相机标定参数，否则会出现视场偏差或对齐错误。
2. 性能开销大
   • 大量的几何变换和图像处理会增加 CPU/GPU 负担，需在实时性和精度间平衡。
3. 多摄像头同步
   • 多摄像头切换时，FOV 补偿需确保图像的帧同步和视场匹配。

---

📌 5. 小结

➤ FOV Compensation 定义

用于矫正和匹配摄像头系统中因视场差异、畸变和几何变化引起的图像偏差，确保多摄像头图像的对齐、畸变修正和视角一致。

➤ 常见应用场景

• 多摄像头切换（主摄、超广角、长焦）
• EIS/OIS 防抖视场补偿
• 多帧 HDR、夜景模式的帧对齐
• 畸变校正和图像拼接

➤ 实现技术

• 几何变换：平移、旋转、缩放、透视
• 畸变校正：镜头参数补偿
• 多摄像头融合：图像对齐与拼接