《A self-calibrating, camera-based eye tracker for the recording of rodent eye movements》论文阅读

题目：A self-calibrating, camera-based eye tracker for the recording of rodent eye movements
作者：Davide Zoccolan, Brett J. Graham and David D. Cox
来源：Front Neurosci. 2010; 4: 193. Published online 2010 Nov 29. Prepublished online 2010 Aug 16

摘要

许多神经生理学和视觉科学都依赖于对人或动物对象凝视方向的仔细测量。基于视频的眼动仪已经成为注视跟踪的一种特别流行的选择，因为它们易于使用并且完全是非侵入性的。然而，视频眼动仪通常需要校准程序，在该程序中，对象必须以已知的注视角度注视一系列点。虽然在某些非人类物种中可能依赖于固有的定向行为进行校准，但其他物种（例如啮齿动物）不能可靠地扫视到视觉目标，因此无法进行这种形式的校准。为了克服这个问题，我们开发了一种全自动的红外视频眼动追踪系统，该系统能够快速准确地自我校准，而无需与受试者合作。该技术依赖于角膜的光学几何形状，并使用计算机控制的电动镜台来快速估计相对于相机的眼睛几何形状。我们使用人工眼仔细测量了我们系统的准确性和精密度，并通过追踪头固定大鼠的自发扫视和诱发动眼反射来验证了其监控啮齿动物注视的能力（在两种情况下，我们获得的测量值均一致与文献中发现的那些）。总体而言，鉴于其完全自动化的性质以及对操作员错误的固有鲁棒性，我们相信我们的眼动追踪系统增强了现有方法在啮齿动物中进行注视追踪的效用，并代表了一种有效的啮齿动物视觉研究工具。

关键词：眼动追踪，啮齿动物，大鼠，校准，视觉

系统组成

图如图一 1显示了我们的眼动追踪系统的示意图。选择了具有良好近红外（NIR）量子效率的千兆以太网（GigE）相机（Prosilica GC660； Sony ExView HAD CCD传感器）来对眼睛成像。带有电动变焦和聚焦功能的极远摄镜头（Zoom 6000，Navitar）固定在相机上。摄像机和镜头使用固定在该组件上的大致质心的支架固定。将截止波长为800 nm的NIR长通滤光片（FEL0800，Thorlabs，Inc.）连接到透镜，以阻挡可见光。将一对2.4 W 880 nm LED照明器（Mightex Systems，0208）连接到摄像头组件，以使其分别与摄像头的水平和垂直轴对齐。这些照明器使用串行4通道LED控制器（SLC-SA04-S，Mightex Systems）进行控制。

图1。眼动追踪系统的示意图。（A）眼睛跟踪系统的照片，其中显示了安装在电动平台上的摄像头组件（摄像头，镜头和红外LED照明器），该电动平台用于在校准过程中使摄像头围绕对象的眼睛移动（请参阅材料和方法））。（B）眼动追踪系统的两个3D渲染（从两个不同角度查看）。颜色强调系统的四个主要组成部分：电动平台（绿色），相机（黄色），镜头（蓝色）和照明器（洋红色）。箭头表示线性和旋转电动平台的运动方向。（C）该图（显示摄像头组件的俯视图）说明了如何将摄像头向右（1）的水平平移与摄像头绕其旋转轴（2）的左旋组合以实现伪旋转（红色箭头）绕距相机本身任意距离d的点（红色圆圈）。该图还示出了在伪旋转之后，照相机与伪旋转中心之间的距离如何从d改变为d '。（D）显示摄像头组件相对于头部固定大鼠的成像眼睛的位置的图。还显示了动物与用于刺激表示的屏幕之间的距离以及大鼠左视觉半场的幅度。

---

瞳孔角膜反射定位

图2。跟踪眼睛的瞳孔和角膜反射点的算法的图示。（A）在红外照明下的鼠眼图像。暗的圆形斑点是瞳孔，而亮的圆形斑点是红外光源在角膜表面的反射（即，角膜反射CR）。在眼睑的边缘可以看到其他非圆形反射点。（B）颜色图显示根据快速径向对称变换更可能出现圆形特征的图像区域。正确提取了瞳孔和CR的大致位置。（C）在应用快速径向对称变换之后（请参见B），找到了瞳孔（蓝色十字）和CR（红色斑点）的粗略中心。（D）将Sobel（边缘发现）变换应用于眼睛的图像，以找到瞳孔（灰色环）和CR（白环）的边界。请注意，此面板中的眼睛以较高的放大倍数显示（与A–C相比）。（E）先前发现的瞳孔粗大中心（请参阅C）用作种子点，以向瞳孔本身的边界投射一组“光线”（蓝线）。沿着每条射线对经过Sobel滤波的图像进行采样，并且当其越过给定的阈值时（与沿射线的标准偏差成比例），就会找到射线与瞳孔边界之间的交点（交点显示为蓝色的实心圆）。使用相同的过程沿CR边界查找一组边缘点。（F）将椭圆拟合到瞳孔（蓝色圆圈）和CR（红色圆圈）的边界点，以获得其中心的精确估计。

---

工作原理

我们的眼睛跟踪系统的目标是估计瞳孔的仰角θ和方位角ɸ（见图Figure3A） 3从瞳孔图像的在相机的图像传感器上的位置A）。这是通过测量所述距离Δ实现ÿ瞳孔P（即，垂直于所述图像平面和水平地平分了眼睛的平面），和距离Δ从眼睛的赤道平面X光瞳的投影在眼睛上的赤道从眼睛的子午面平面（即，垂直于所述图像平面和垂直平分眼平面;有关详细信息，请参阅图Figure3A）。3一种）。通过交替打开水平和垂直对准相机传感器的两个红外光源，可以可靠地测量赤道和子午线的位置。事实上，当对垂直取向的（侧）光源被接通时，其在角膜表面（上反射CR）标记赤道面（图的位置（Figure3B）， 3 B），和Δ ÿ可以如测量之间的距离P和CR（图（Figure3C）。 3 C）。反之亦然，当打开水平对齐的（顶部）光源时，其在角膜表面的反射标志着子午平面的位置（图（Figure3D） 3 d）和Δ X可以为之间的距离来测量的 P和 CR（图（Figure3 3 E）。

图3。眼睛坐标系统和测量。（A）瞳孔（P）在半径为R P 0的球体（实心圆）的表面上移动。这样的球体包含在更大的球体中-角膜曲率的延伸（虚线）。假定这两个球具有相同的中心（请参见文本）。瞳孔位置在极坐标系中测量，其原点位于角膜曲率的中心。选择参考系统的方向，使z轴平行于相机的光轴，因此（x，y）平面构成相机的图像平面（请参见B中的插图）。眼动追踪系统的目的是估计瞳孔的仰角（θ）和方位角（ɸ）。这是通过测量所述距离Δ实现ÿ从赤道平面（即，垂直于所述图像平面和水平平面平分眼睛）的瞳孔，并且距离Δ X光瞳的投影的在赤道平面从经络平面（即垂直于像平面并垂直平分眼睛的平面）。（B）在我们的成像系统中，两个红外LED分别位于成像相机的侧面。当侧面LED（与相机镜头垂直对齐）打开时，其在角膜表面（CR）上的反射标志着赤道平面的位置。（C）  Δ ÿ当侧面LED开启时，测量值P和CR之间的距离。（D）打开顶部的LED（与摄像机镜头水平对齐）后，其在角膜表面（CR）上的反射标志着子午面的位置。（E）  Δ X被测量为之间的距离P和CR，当顶部LED被接通。

---

校准步骤

相机/眼睛对准

图4。眼睛与相机传感器中心的水平和垂直对齐。（A）打开水平对准的（顶部）红外LED时，角膜反射（CR）点（空心圆）出现在与照相机光轴平行的角膜曲率半径（虚线）的一半处。实心圆圈显示瞳孔位置。大虚线圆表示角膜曲率/表面。假设摄像机的传感器最初未与眼睛中心对齐（例如，在位置1），则CR的位置可以用作眼睛子午面的界标，以通过水平移动摄像头组件来实现这种对齐。首先将摄像机平移几毫米（从位置1到位置2）以确定毫米/像素转换系数，然后再进行一次平移（从位置2到位置3），以使CR与水平轴的中心对齐。相机的传感器。请注意，由于角膜就像球面镜一样，因此CR会在相机组件的所有水平位移中标记眼睛的子午平面的位置（即，当相机位于位置1、2时，空圆的位置相同）和3）。（B）与（A）中所述类似的程序用于将相机的传感器垂直对准眼睛的赤道平面。在这种情况下，垂直对齐的（侧面）红外LED将打开，以便CR标记人眼的赤道平面的位置。然后沿着垂直轴重复类似的过程。

---

首先，摄像机的图像平面在水平方向对准到眼睛的子午面（图（Figure4A）。 4 A）。为了实现这一点，该水平排列的（顶部）照明被接通（图（Figure4A）。 4 A）。由于角膜的几何形状，这将产生在角膜上（一个反射点CR与眼睛的子午平面对齐）（见图Figure4 4说明细节）。要居中在摄像机的图像平面CR点，相机（图从位置1到位置2翻译少量Figure4A） 4 A）和所述的位移CR测量以像素为单位的毫米（mm）以确定毫米/像素转换因子以及相机应移动以获得所需对准的方向。然后将这些测量用于对相机以便翻译该CR与图像平面的（最终翻译在图从位置2至位置3的水平中心对齐Figure4A）。4 A）。类似的过程被用于将摄像机的图像平面垂直对齐于眼睛的赤道面（图（图7则）。 4B）。为此，打开垂直对齐的（侧面）照明器，并沿垂直轴重复该过程。在此校准步骤结束时，相机的光轴直接指向角膜曲率的中心。

角膜曲率3D中心的估计

在此步骤中，我们确定从相机的旋转中心到角膜曲率中心的距离。该距离测量与上一步中实现的水平和垂直对齐相结合，在三个维度上定义了角膜曲率中心的位置。为了测量这个量，我们依靠以下事实：角膜是近似球面反射器，因此CR点样（空圈在图图5） 5）将始终出现在平行于相机光轴的角膜曲率半径的中间（假设相机的传感器和光源在我们的成像系统中水平对齐）。这种安排的结果是，如果我们围绕摄像机前方空间中的虚拟点旋转摄像机，则摄像机图像内观察到的CR光斑的偏移将系统地变化，具体取决于虚拟旋转点是否位于摄像机前方。 （图（Figure5A）， 5 A），后面（图（Figure5B）， 5 B），或者与（图对齐（Figure5C） 5C）角膜曲率中心。如果我们旋转相机有关的眼睛（图的前面的一个点（Figure5A）， 5 A），所述的位置CR在摄像机图像内将在旋转（即的方向移动，到离开向左旋转和向右旋转）。同样，如果我们围绕眼睛（图后面的点的摄像机（Figure5B）， 5 B），则CR会在与旋转相反的方向上位移（向右旋转代表向左旋转等）。之所以会出现这种明显的位移，是因为围绕角膜表面中心以外的点的旋转会相对于固定眼移动相机的视场。仅当照相机的虚拟旋转点叠加在角膜曲率的中心上时，CR点在任何旋转中都将在照相机图像中保持静止。因此，为了估计角膜曲率中心的距离，我们测量的位移Δ CR所述的CR响应一系列候选距离范围内围绕虚拟点的五个+ 15°旋转，以及围绕相同候选距离点上的-15°旋转的点，然后对+ 15°位移和-15°旋转。零截距此行对应的与旋转虚拟点的距离的结果在没有位移CR和揭示了角膜曲率中心（即，在图中示出的条件Figure5C）。5 C）。在此校准步骤结束时，相机与眼睛的水平和垂直中心对齐，并且可以绕角膜曲率中心旋转。

图5。角膜曲率3D中心的估计。（A）在先前的校准步骤的终点（参见图图4）， 4），照相机处于位置1，即，用眼相机的传感器的中心。电动载物台允许摄像机围绕沿其光轴（实线）由一个水平平移与旋转组合远点的伪旋转（见图Figure1C）。1 C）。如果这样的旋转发生在角膜曲率中心前方的一点，则角膜反射（CR由水平对齐（顶部）的红外LED产生的）将在相机起点（黑空圆圈）处出现偏移（红色和蓝色空心圆圈）的位置。具体而言，正（从顶部逆时针，红色）和负（从逆时针，蓝色）伪旋转分别导致CR的向右和向左位移。因此，差（Δ 3-2所述的位移之间）CR产生由正（红色箭头）和负（蓝色箭头）照相机旋转将是正的。（B）当相机绕虚拟点（沿其光轴）背后的角膜曲率中心的CR将内侧和Δ移位3-2将是负面的。（C）如果对准角膜曲率都向右（红色箭头）和左（蓝色箭头）15°旋转的中心大约一个虚拟点摄像机旋转将产生CR和Δ的无位移3-2意愿为空。

---

瞳孔旋转半径的估计

图6。瞳孔旋转半径的估计。（A）在先前的校准步骤的终点（见图Figures4 4和AND5） 5）照相机处于位置1，即，它的传感器和眼睛对准，并且所述相机可以大约的中心旋转眼睛（黑色小圆圈）。此外，水平对齐的（顶部）红外LED发出的照明会导致角膜反射（CR；蓝色圆圈），标记出眼睛的子午面。通常，瞳孔（P；黑色圆圈）将不会与眼睛的子午面对齐（即，它不会直接指向相机）。该位移可以描述为初始角度ɸ0（黑色箭头）眼睛的子午面和之间- [R P（瞳孔的旋转半径的突起- [R P 0在眼睛上的赤道面;还参见图Figure3） 3）和一初始距离Δ X 0之间瞳孔和眼睛的子午平面。当照相机旋转到一定角度Δɸ 1有关眼（红色箭头）的中心，该距离Δ X 1瞳孔和眼睛的子午面之间将取决于两个Δɸ 1和ɸ瞳孔初始角度0（参见等式。3中的方法）。（B）。一旦拟合出方程就知道了RP。如图3所示（请参见材料和方法），可以通过打开垂直对齐的（侧面）红外LED并测量瞳孔到眼睛赤道平面的距离Δy（由所得的CR点标记；空心圆）来轻松获得RP0 。通常，由于瞳孔距赤道平面的初始高度θ（黑色箭头），该距离不会为零。

---

讨论

眼动追踪系统是在清醒的受试者中进行视觉实验的重要工具。例如，只有在以合理的准确度实时测量对象的凝视方向的情况下，才能研究皮层视觉区域中的神经元感受野，从而可以在任何给定的视野位置中再现性地呈现视觉刺激。不管使用何种技术（例如，巩膜搜索线圈或基于摄像机的眼动仪），眼动追踪系统的校准通常都是通过要求受试者在已知视野位置的网格上扫视至视觉目标来实现的。显然，这仅在自发感知外部视觉目标的物种（例如灵长类动物）中可行。

局限性和未来

与巩膜搜索线圈相比，我们的系统具有视频跟踪系统中的所有常见限制，例如，无法跟踪眼睛的径向运动分量和通常较低的采样率（尽管可以通过使用更快的摄像头来克服此限制） ）。但是，与搜索线圈​​方法相反，我们的方法具有非侵入性的重要优势，并且可以规避损坏小啮齿动物的眼睛并干扰正常的眼睛运动的风险。因此，我们的系统可以在相同的啮齿动物对象上重复使用，而对可以从任何给定动物获得的眼动记录次数没有限制。

我们系统的另一个当前限制是它只能跟踪一只眼睛。但是，可以通过使用两个相同的系统（在动物的每一侧各一个）来轻松克服此限制。由于系统在大于25厘米的工作距离下运行，因此在实验装置内布置系统具有很大的灵活性。此外，如果假设两只眼睛的大小相同或相似，则简单地添加第二个固定摄像机就足以获得立体声跟踪功能。

此处描述的系统的另一个缺点是，它需要将对象固定在头部才能进行操作。尽管这在我们当前的实现中是一个严格的要求，但可以想象到，通过同时跟踪大鼠的头部位置并训练动物使其保持给定的工作量，可以至少部分地克服此要求。此外，人们可以想象使用以下方法描述的方法，即使用此处描述的系统估算动物眼睛的几何形状，但使用较小的（例如手机式）头戴式摄像头完成“在线”眼睛跟踪。

竟然有附代码
http://github.com/coxlab/eyetracker