E-Gaze: Gaze Estimation With Event Camera
题目:E-Gaze: 基于事件相机的注视估计
作者:Nealson Li, Muya Chang, and Arijit Raychowdhury
摘要
近眼注视估计是一项将相邻相机捕获的眼睛录像映射到人凝视空间方向的任务。与传统的基于帧的相机不同,事件相机以高感知率、低延迟、稀疏异步数据输出和高动态范围为特点,非常适合记录快速的眼动。然而,由于数据特性的自然差异,基于帧的相机操作的算法和系统设计并不适用于基于事件的数据。在这项工作中,我们研究了基于事件的近眼数据流的模式,并提取眼睛特征以估计注视。首先,通过分析眼睛部分和运动,并利用事件的极性、空间和时间分布,我们引入了一个实时流水线来提取瞳孔特征。其次,我们提出了一个带有坐标到角度损失函数的循环神经网络,以从瞳孔特征序列中准确估计注视。我们证明了我们的系统实现了准确实时估计,角度精度为0.46°,更新率高达950 Hz,为新颖应用开辟了途径。据我们所知,这是第一个仅基于事件数据执行注视估计的系统。
关键字
- 事件相机