《Non-calibrated and real-time human view estimation using a mobile corneal imaging camera》论文阅读

题目：Non-calibrated and real-time human view estimation using a mobile corneal imaging camera
作者：Atsushi Nakazawa Christian Nitschke Toyoaki Nishida
来源：2015 IEEE International Conference on Multimedia & Expo Workshops (ICMEW)

@头戴式角膜成像仪

与其他可穿戴ETG相比，独特之处：

• 系统不需要每次测量的校准，因此只需佩戴设备即可使用。这也消除了头戴式漂移的问题。
• 基于角膜成像的PoG估计不会出现视差问题。
• 我们的头戴式眼镜没有前置摄像头，因此避免了隐私问题。

软硬件设计：

• 为了获得角膜(场景)反射，我们设计了一种由小型相机模块和微型LED组成的轻型头盔角膜成像相机。
• 我们开发了一种实时的3D角膜姿态跟踪算法，该算法使用粒子滤波器和角膜的3D模型，并结合弱透视投影。此投影不需要内部/外部眼睛摄像机校准。
• 在3D中估计角膜姿势对于稳健/准确地估计凝视反射点(GRP)至关重要。在这里，我们使用LED的反射来克服投影圆的2D到3D姿态估计中的模糊性问题。因此，我们可以准确地获得角膜球体的中心和3D角膜姿势。

摘要

我们提出了一种使用角膜成像技术的移动人类视野估计系统。与当前的眼睛注视跟踪（EGT）系统相比，我们的系统不需要每次会话校准和前视（场景）摄像头，因此它适用于可穿戴玻璃系统，因为它更易于使用且在社会上更受欢迎。缺少前置镜头。我们的眼镜系统由一个镜框和一个微眼相机组成，该摄像头捕获用户的眼睛（角膜）反射。通过使用3D眼睛模型和弱透视投影所利用的基于粒子过滤器的实时跟踪方法，对捕获的图像执行3D角膜姿势跟踪。然后，我们计算凝视反射点（GRP），从凝视点（PoG）反射的光会在其中反射，使我们能够识别用户在角膜表面反射的场景图像中所处的位置。我们使用标准的计算机显示设置和多个真实场景进行了实验，发现该方法在未校准的设置下具有相当高的精度。这证明了其在多种用途中的潜力，例如眼镜系统的用户界面以及在实际场景中对人的感知的分析，以用于营销，环境设计和生活质量应用。

头戴式角膜成像仪

建议的头戴式角膜成像相机由眼镜架、相机模块和微型LED组成(图2)。相机放置在距离用户右眼约5厘米的地方，并拍摄眼睛图像。我们使用Nippon Chemi-con NCM13-J(1280×1024，15fps，43.3视角)和一个NCM-USB-C接口模块。捕获的图像被传输到PC并用于进一步的步骤。两个微型LED被放置在相机镜头的上方和下方，以确定角膜球体的中心。LED的功率经过仔细调整，以便不会被用户注意到。理想情况下，这里应该使用不可见的红外LED，但是我们现在的相机不能探测到红外光，所以我们在这个原型中使用了可见的LED。
图3显示了算法流程。在给定眼睛图像的情况下，利用LED的反射将该算法同时应用于眼睑检测和角膜中心检测。之后，所有的结果-即眼皮边界、角膜球体中心和眼睛图像-都被用来获得3D角膜姿势。在接下来的工作中，我们首先介绍了眼睑检测，然后提出了三维角膜姿态跟踪算法。

眼睑检测与跟踪

三维角膜姿态的实时跟踪

眼睛的三维几何模型及其到摄像机图像平面的投影

跟踪3D角膜姿势

基于粒子滤波器的三维角膜姿态实时跟踪

通过使用几何眼睛模型和粒子过滤器，从眼睛图像序列跟踪3D角膜姿势。已经有几种在2D图像空间中检测角膜边缘的技术，但是我们开发了一种使用3D眼睛模型的新方法，因为需要提高GRP估计的精度。

基于角膜成像技术的视点估计

图8：不同环境下3D角膜姿势和人类视角估计的跟踪结果。(上)场景图片。(左下角)眼睛图像。蓝色虚线表示角膜边界，绿色正方形表示凝视反射点(GRP)。(右下角)GRP周围的角膜反射，显示凝视点(图像中心)和人体外围视图。圆形等高线的中心以0度标记POG，从该位置以10度为增量绘制等高线。

---

结论

在这项工作中，我们提出了一种使用角膜成像技术的移动人眼估计系统。这是第一个在移动环境中实现角膜成像的系统。使用轻型角膜成像相机捕获的眼睛图像，我们开发了强大的3D眼睛姿势跟踪算法和凝视反射点（GRP）估计。通过在相机中心周围使用微型LED反射进行基于粒子过滤器的跟踪，可以克服3D眼睛姿势估计中的歧义问题。实验结果表明，所提出的系统无需进行每次会话校准或使用前视摄像头即可实时执行并提供相当高的准确性。这些特性在可用性和社会认可度方面均优于现有的EGT系统，因此使我们的系统适用于可穿戴设备。此外，因为我们可以通过与人类周围视觉相关的图像来观察广角场景信息，所以可以将视线移到注视点。这对于未来可穿戴眼镜的应用，驾驶员的视觉分析，市场营销，广告以及考虑到人类周边视觉的环境设计至关重要。