MediaPipe虹膜检测：实时虹膜跟踪和深度估计

包括计算摄影（例如，人像模式和闪光反射）和增强现实效果（例如，虚拟化身）在内的大量实际应用都依赖于通过跟踪虹膜来估计眼睛位置。一旦获得了准确的光圈跟踪，我们就可以确定从相机到用户的公制距离，而无需使用专用的深度传感器。反过来，这可以改善各种用例，从计算摄影到适当大小的眼镜和帽子的虚拟试戴，到根据视听者的距离采用字体大小的可用性增强。

由于有限的计算资源，可变的光照条件以及遮挡物（例如头发或人斜视）的存在，虹膜跟踪是在移动设备上解决的一项艰巨任务。通常，会使用复杂的专用硬件，从而限制了可在其中应用该解决方案的设备范围。

FaceMesh可以用来驱动虚拟化身（中间）。通过额外使用虹膜跟踪（右），可显着提高化身的活泼性。

MediaPipe Iris启用的眼睛重新着色的示例

Google发布MediaPipe Iris，这是一种用于精确虹膜估计的新机器学习模型。基于Google在MediaPipe Face Mesh上的工作，该模型能够使用单个RGB摄像机实时跟踪涉及虹膜，瞳孔和眼睛轮廓的界标，而无需专用硬件。通过使用虹膜界标，该模型还可以在不使用深度传感器的情况下确定相对误差小于10％的对象和相机之间的度量距离。请注意，