《Display-camera calibration using eye reflections and geometry constraints》论文阅读

题目：Display-camera calibration using eye reflections and geometry constraints
作者：Christian Nitschke，Atsushi Nakazawa and Haruo Takemura
来源：Computer Vision and Image Understanding，Volume 115, Issue 6, June 2011, Pages 835-853

摘要

在本文中，我们描述了一种根据用户眼睛中的反射来校准显示摄像机设置的新颖方法。将这两种设备组合在一起，将创建一个功能强大的受控照明系统，该系统可在非专业环境中实现一系列有趣的视觉应用，包括物体/面部重建和人机交互。禁止此类系统进入普通家庭的一个主要问题是几何校准，以获得显示器的姿势，这需要特殊的硬件和繁琐的用户交互。我们提出的方法通过引入分析人眼角膜中屏幕反射的新颖思想（始终可用的镜像设备）消除了这一要求。我们采用简单的形状模型来恢复眼睛的姿势和反射特性。全面的实验评估表明，基本策略会导致较大的误差并讨论可能的原因。基于这些发现，开发了一种非线性优化策略，该策略利用系统内的几何约束来显着改善初始估计。它进一步允许自动解决在基于图像的眼位估计中出现的固有歧义。该策略也可以被集成以改善球面镜的校准。我们描述了几项综合性的实验研究，这些研究表明，所提出的方法对于变化的主体，显示姿势，眼睛位置和注视方向而言性能稳定。结果是可行的，并且对于许多应用来说应该足够了。

强调

►分析人眼中屏幕照明的角膜反射的新想法。
►校准显示摄像机设置中几何关系的新方法。
►方法不需要任何用户交互或意识，也不需要特殊的硬件。
►优化框架可为眼睛和显示姿势估计带来互利。
►研究结果可能会应用于眼睛特征和反射分析中的其他作品。

关键词

展示相机系统，校准，图像分析，视觉系统，人眼模型，眼睛姿势估计，角膜反射，折反射成像

结论

讨论

这项工作提出并验证了根据眼睛图像中角膜反射对显示相机设置进行几何校准的想法。我们描述了一种四步方法，其中包括（1）从图像中检测眼睛的姿势，（2）根据不同眼睛姿势下的角膜反射来计算光源位置，（3）从多个光中估计显示器的姿势屏幕图案上的标记所代表的光源，以及（4）通过改善眼睛的姿势和反射光线来优化结果。与以前的方法相比，通过这项工作获得的概念和发现可以进行校准，而无需特殊的硬件，明确的用户交互或意识，并且可以在线执行。

进行了大量的综合实验研究，结果表明，眼睛姿势估计[47]和屏幕摄像机校准[18]的直接结合会导致较大的误差，这与单个眼睛的未知几何形状和大小有关。通过引入一种优化策略，可以在已知的几何约束（射线相交距离，屏幕尺寸，屏幕平面度）的约束下共同优化眼睛姿势，反射射线和显示姿势，从而可以大大改善结果。该策略的特别成就是：

• 与简单的几何重构相比，可以大大降低误差。
• 更高的噪声容忍度允许将商品硬件与不需要单独校准的简单几何眼图模型结合使用。
• 恢复以前完整的眼球定向的歧义会自动解决。
• 该策略还实现了以前基于球面镜的方法的改进。

大量综合实验研究的结果证明了该方法的有效性，即在不同条件下都能获得稳定的结果。这些发现也通常有助于从眼睛反射进行几何重建。重要结论如下：

• 尽管眼睛形状存在个体差异，但是可以大大减少不同人的结果差异。各种眼睛状况（正常，未矫正的近视眼，使用隐形眼镜矫正的眼神）均无统计学意义。
• 基本事实的绝对误差可以大大降低。随着越来越多的图像实现收敛。
• 误差随着距显示相机设置的距离而增加。但是，已发现该方法的适用范围已经超出了常见的使用案例。
• 在此方法的适用范围内，误差也随着显示方向和注视角度的增加而保持稳定，该范围也涵盖了常见的使用案例。较大的角度会导致角膜边界附近反射的变形，因此应避免使用。

含义

通过提出的方法，我们建立并验证了眼反射分析与显示相机系统的集成。尽管工作条件艰苦，结果还是不错的，并且对于许多应用来说应该足够了。我们认为，这项工作有可能促进社区的新颖发展，并有助于总体上提高“实验室外”应用程序的可用性和接受度。该方法的独特特性使应用程序可以在新颖的情况和系统配置中使用。潜在影响的概述如下。

免校准应用。由于校准是隐式实现的，不需要交互和了解，因此该方法可以应用在不可能进行专门校准的地方。这可能是由于以下几种可能的原因之一：缺乏时间，需要注意其他任务，例如在驾驶员辅助系统或工作场所中重新布置显示器。第二，与非专家，肢体/精神残疾者或儿童和婴儿一起工作时缺乏能力。其他原因可能包括隐藏系统的技术细节或与艺术品装饰无缝集成。

动态设置。校准不需要交互，可以在线执行。这允许在显示器和摄像机之间的关系正在变化的应用程序。更改摄像机姿势的示例包括监视和基于视觉的界面中的手持摄像机和平移变焦摄像机（PTZ）。更改显示姿势的示例包括手持/移动设备和投影显示，例如汽车中的平视显示器（HUD）或增强现实中的 特殊显示 [5]。

所提出的方法恢复了显示器，相机和眼睛之间的几何关系。这对于不同领域的应用可能是有益的。潜在影响的概述如下。

人机交互。该方法实现了改进的免校准远程眼睛注视跟踪，其中通过关联注视方向和显示平面来获得PoR。基于屏幕的视线跟踪在不同领域有许多应用。但是，对平面屏幕没有限制：当估计的眼睛姿势与环境模型或基于图像的环境图相关时，可以在任意表面上获得3D PoR。可以将其与眼睛反射分析进一步结合以进行场景重建或眼睛姿势优化。

监视和安全。已经显示，显示内容可以从远处的位置从PC前面的人眼中的反射中恢复。可以通过不失真来提高结果的质量，不失真需要有关显示姿势，眼睛姿势和形状的知识。此外，可以将其扩展到与移动设备的交互的实时监视。眼睛凝视和显示反射的知识也可能有益于技术改进并在基于虹膜的生物识别系统中引入上下文信息。

光度立体。使用显示相机系统通过光度立体重建场景已有几项工作。关于环境光源分布的知识很重要，可以从眼睛图像中恢复。所提出的方法为在显示相机设置的背景下利用此信息奠定了基础，从而提高了校准和应用程序的性能。

医学。分析显示内容与眼睛姿势之间的关系可以帮助诊断与视觉和运动系统的身心退化有关的模式。在检测到特定状况之后，可以通过修改显示内容来提供纠正措施。此外，这样的信息也可以用于通过自动立体显示器检测和支持正确的3D感知。

局限性

本文的范围是对人眼反射在显示摄像机校准中的适用性进行深入分析。在实际条件下以当前形式使用实现时有一些限制。全自动校准程序的细节在很大程度上取决于每个特定设置的要求。必要的扩展包括

• 一种直接从眼睛图像校准相机参数的策略，
• 一种跟踪视频中眼睛区域的第一个猜测的技术，
• 丢弃不包含眼睛，质量太低或与已知会导致精度降低的配置有关的不可用帧的方案，
• 一种模式架构，可以提高信息吞吐量，并允许在存在环境光和变化的虹膜颜色的情况下进行可靠的反射提取，例如使用编码标记，以及
• 一种扩展，用于抑制眼睛不同层的复杂光交互并处理更复杂的光路，例如在用户戴眼镜时发生的光路。

所描述的方法以及相关工作均采用静态模式。因此，系统限于校准和应用是单独步骤的静态方案。但是，由于该方法不需要交互作用，因此具有实现在线校准的潜力。为了在实践中实现这一点，有必要在变化的应用内容下检测与相同空间位置有关的显示反射。

系统的准确性高度取决于基于图像的眼位估计的性能。为了更好地近似眼睛的形状，必须测试更复杂的几何眼模型，因为眼球在垂直平面中略微变平，并且角膜拓扑结构很复杂 。在优化过程中，将眼睛的几何形状建模为两个相交的椭圆形并包括半径作为形状参数可能是有益的。可以从用户直接注视相机的单个虹膜图像中校准眼球的纵横比。校准每个人眼睛几何形状的策略可能会导致进一步的改善。