哈尔滨工业大学提出光学设计新思路：基于快速可微光线追迹的端到端单透镜成像系统设计

基于快速可微光线追迹的端到端单透镜成像系统设计

End-to-end learned single lens design using fast differentiable ray tracing

作者单位：哈尔滨工业大学空间光学工程研究中心
论文地址：https://doi.org/10.1364/OL.442870

近年来，基于图像复原算法的单透镜成像系统研究十分火热。本文提出了一种全新的、能够实现光学-算法同时优化的单透镜成像系统设计思路，能够设计出具有大视场、高成像质量的单透镜成像系统。
本文提出了全新的可微光线追迹技术和基于点扩散函数的成像仿真技术，实现了透镜参数与图像复原算法参数的同时优化。利用深度学习并在大量图像数据的驱动下，能够实现智能化的光学设计，通过感知算法复原图像与清晰场景图像之间的差别，透镜参数和算法参数将会自动优化。

端到端设计思路

在传统成像系统设计中，需要通过波前差、光斑半径和MTF等指标人为地指定一系列复杂的目标函数，然后通过成像仿真获得这些指标，在目标函数的约束下对透镜参数进行优化。在我们的端到端设计中，以清晰的场景图像为输入端，经透镜成像模型得到包含像差模糊的仿真图像，然后再通过处理模型进行图像复原，得到的复原图像为输出端，我们以复原图像与场景图像之间的均方误差最小为目标函数，通过梯度下降算法使透镜参数与复原算法参数同时优化。
基于深度学习的端到端设计要求正向模型（包含成像模型与处理模型）必须是可微的。我们用高斯函数拟合光线能量分布，提出了可微的光线追迹算法，然后通过光线追迹得到光学系统的点扩散函数（PSF），并通过插值与卷积得到光学系统的仿真图像。成像模型实现了透镜信息与图像信息的融合，前者是光学设计所需的，后者则是图像复原所需的。
与现有的成像系统端到端设计方法相比，我们通过全新的成像模型解决了端到端设计中的精度和速度问题。首先，相比现有的端到端设计中采用的傅里叶光学和其他基于傍轴近似的光学模型不同，光线追迹的方法通过数值求解，能够精确计算轴上及轴外光线的传播路径，从而能够精确得到各个视场的像差信息；其次，我们采用分块策略进行成像仿真：将各个视场块的PSF与场景图像进行卷积，然后再通过插值得到最终的仿真图像，这样相比对场景图像所有像素进行光线追迹的方法大大减少了运算量，进而提升了设计效率。

不同透镜类型仿真结果与ZEMAX的对比，图中数字为仿真图像与场景图像的PSNR/SSIM

实验结果

我们分析了端到端优化过程中透镜成像结果与复原图像的变化情况：

50张测试图的仿真图像（a）及复原图像（b）分别与场景图像的平均PSNR变化曲线

从曲线图可以看出，仿真图像随着优化迭代次数的增加而逐渐变得清晰，50次迭代后趋于稳定，复原图像随着优化迭代次数的增加逐渐变得清晰，并于300次迭代左右趋于稳定。
我们还分析了优化过程中单透镜的PSF的变化情况：
优化过程中变化的单透镜PSF（左下为边缘处PSF，右下为中心处PSF）

从图中可以看出，随着迭代次数的增加，单透镜的PSF逐渐趋于空间不变（边缘PSF与中心PSF逐渐趋于一致）。
为了进一步说明端到端设计的效果，我们还与非端到端设计进行了对比：

三个单透镜成像系统的仿真图像及复原图像对比（数字表示与场景图像的PSNR/SSIM）

图中小视场是指未经优化的单透镜，通过限制其视场为10°，从而减小像差，再优化图像复原算法的参数。参照是指通过ZEMAX优化单透镜使其PSF趋于空间不变，然后优化图像复原算法的参数。最后是通过我们所提出的端到端方法设计的单透镜成像系统，与参照具有相同的47°大视场。从结果可以看出，我们的大视场单透镜成像系统在大大扩大视场的同时，几乎保留了与小视场透镜相同的成像效果，并且相对ZEMAX设计的大视场单透镜具有明显的成像质量提升。

总结

我们所提出的基于可微光线追迹的单透镜成像系统端到端设计方法实现了大视场、高成像质量的单透镜成像系统设计，在轻小型光电成像系统领域具有广阔的应用前景。并且所提出的设计方法以光线追迹为基础，也能用于复杂透镜组的优化。以输入端与输出端的差异为约束，避免了复杂的光学指标设计，大大简化了成像系统的设计过程。我们端到端设计的成像模型解决了现存的精度和速度问题，为成像系统的自动化及智能化设计做出了重要贡献。