深度学习下的相机标定

相机标定在计算机视觉和机器人等领域中占据举足轻重的地位，它为后续场景理解及决策推断提供了标准化的成像空间和精准的几何先验。然而，传统的相机标定技术常常依赖于繁琐的人工干预和特定的场景假设，因此难以灵活拓展至不同的相机模型和标定场景。

近年来，基于深度学习的解决方案展现出代替手动操作、摆脱场景假设的潜力，实现了全自动化的相机标定技术。在这些方案中，各种各样的学习机制、网络架构、先验知识、优化函数、数据集等方面均得到了广泛的研究。

本综述首次系统性地概述了深度学习驱动下的相机标定技术，涵盖了深度学习时代以来（8年时间跨度）各类相机模型标定及其应用的最新研究进展。

主要探索的标定类别包括标准针孔相机模型、畸变相机模型、跨视角模型和跨传感器模型等。该路线紧密契合了基于深度学习的相机标定的研究趋势和实际市场需求。在每个类别中，相应技术发展的贡献点、优势、局限性得到了充分论述，具体的未来研究技术点也进行了一定展望。

此外，本文还整合、构建了一个公开且全面的评测基准数据集，可作为开放平台用于不同研究方法的性能评测。该数据集包括了不同仿真环境下生成的合成数据，以及不同场景下由各类真实相机采集到的图像和视频序列。每一个数据样本均提供了准确的标定结果、相机参数或视觉线索。最后，我们讨论了整个基于深度学习的相机标定领域仍然存在的挑战以及未来可能的研究方向。

本综述总结的方法细节、数据集和构建的评测基准已在线公开并将定期更新，详情请见：https://github.com/KangLiao929/Awesome-Deep-Camera-Calibration

论文名称：『Deep Learning for Camera Calibration and Beyond: A Survey』。

arXiv链接：https://arxiv.org/pdf/2303.10559.pdf

一、相机模型及标定