GazeOnce: Real-Time Multi-Person Gaze Estimation CVPR 2022 MPSGaze数据集

原文链接
data下载链接

概述：这篇文章提出了一个新的场景：实时多人视线估计。提出相关数据集MPSGaze，提出一个金字塔结构的端到端的多人视线检测算法，并通过自监督约束进一步提升算法性能。
MPSGAZE数据集

这个数据集是通过Gaze数据集ETH-Gaze和脸部检测数据集WiderFace生成，具体做法如下。
1.Face matching：对于给定高质量WiderFace图像$f_w$，通过脸部属性提取SOTA网络Fairface筛选与他最相似的ETH-Gaze图像。
a根据性别初筛ETH-Gaze集合$f_e$
b对$f_w$进行ETH-Gaze一致的归一化，记录缩放矩阵W以及旋转矩阵R。
c根据脸部关键点以及头部姿态计算$f_w$$f_e$匹配误差筛选n个$f_e$

d在n个中根据年龄和种族相似性最后筛选出最相似的$f_{es}$

2.Gaze swapping：交换Gaze图像和face detection图像的眼部/脸部图像，视线标签由Gaze图像得到。
a根据$W^{-1}$、$R^{-1}$对$f_{es}$进行变换
b采用1c式计算变换后$f_{es}$和$f_w$脸部关键点和头部姿态的匹配误差。
c给定阈值，匹配误差低于阈值则仅交换眼部区域，反则交换脸部区域。
d采用泊松混合方法使重叠图像看起来真实
e$f_{es}$gaze标签$R^{-1}$z作为$f_w$标签

多任务端到端的多人视线估计

采用金字塔结构+上下文模块(残差+累加多层卷积代替大卷积)保障提取的特征兼顾多尺度和感受野
多任务同时检测人脸和预测Gaze，损失函数

3D视线以及其2D投影自监督约束
同时预测2D以及3D视线，预测3D视线投影和2D视线的一致性。



实验结果