【复现论文】Looking here or there? Gaze Following in 360-Degree Images
论文:Looking here or there? Gaze Following in 360-Degree Images
论文链接:Looking here or there? Gaze Following in 360-Degree Images
知乎链接: link
掘金链接:link
1.论文主要内容
在本文中,研究了一项新任务,即 360 度图像中的视线方向,并为这项新任务收集了一个新的大规模数据集“GazeFollow360”。论文指出这项新任务的主要挑战是由于 360 度图像中球体到平面投影引起的失真,人类受试者的注视目标和他/她的视线之间的不匹配。为了解决这个问题,我们提出了一个双路径框架,该框架由在 3D 球体空间中建模的视线引导,而不是简单地在 2D 图像平面坐标中,以检测局部区域(此处)和远处区域(那里)内的注视目标平行。论文的框架在GazeFollow360上的强大性能验证了它在理解真实3D世界中视线行为方面的潜力。
主要贡献可以分为三个部分:
(1)第一份在360展开图上研究gaze following的工作
(2) 建立了一个10058张图片的数据集
(3)提出了一个双支路的框架解决360场景下的gaze following
2.复现工作
在发邮箱给论文一作,询问其是否开源代码无果后,尝试根据论文的信息去复现代码。
我简单的复现了一下论文,得到双支路模型在test dataset的实验结果
论文中的实验结果:
AUC | sphere dist | |
---|---|---|
test dataset | 0.9350 | 0.6067 |
我复现的实验结果:
pixel dist | norm dist | AUC | sphere dist | |
---|---|---|---|---|
test dataset | 443.5346 | 0.1584 | 0.8673 | 0.6157 |
容易看出,我复现的实验结果是比论文实验结果更差的,但是在同一个量级上。同时,在其他公开模型方法上,比如论文Detecting Attended Visual Targets in Video,也很难复现出论文的实验结果。
3.期望
最后欢迎大家指正我的复现结果,也期待官方早点开源吧。