基于运动和视觉突出性的自我视频中的注意预测

【摘要】  

我们提出了一种利用 自底向上的视觉显著性和自我信息 预测人类自我中心视觉注意的方法。

[ 为什么用视觉显著性？ ]

视觉显著性的计算模型经常被用来预测人类的注意力;然而，在自我中心主义视野下，其作用机制和有效性尚未得到充分的探索。

[ 我们的 ]

我们的框架的目的是从一个以自我为中心的视频中计算注意力地图（映射吧？？？），可以用来推断一个人的视觉注意力。

（我理解： 以自我为中心的视频 ，应该是人带着摄像机 然后以我的视角拍摄的画面视频）

除了标准的视觉显著性模型外，还根据摄像机的旋转速度和运动方向计算出两种注意图。这些基于旋转和基于平移的注意力地图被一个自下而上的显著性地图（映射？？？）聚合起来，以提高预测人的注视位置的准确性。

（然后 以旋转 和平移 的注意图 从下往上一起聚合起来  变成一个注视位置）

在现实环境中，通过使用头戴式凝视跟踪器检验了该框架的有效性，我们发现基于自我运动的注意图有助于准确预测人类的视觉注意。

 

【介绍】

视觉注意是推断人类内部状态的重要线索。（过渡句）

预测人类视觉注意的技术已经被应用于各种应用领域，例如，注意用户界面和互动广告。

(推断视觉注意力 方法)

1. 最直接的方法之一是测量人类的注视;BUT在随意和不受约束的环境中,测量目光是艰巨的任务。2. 另一种估计视觉注意力焦点的方法是使用视觉显著性 地图（映射？？？）模型。

受视觉注意的心理学研究[24]的启发，Koch和Ullman提出了显著性图模型[17]的概念。Itti等人随后提出了视觉显著性的计算模型[15]，以识别更吸引人类注意的图像区域。在他们的研究之后，多年来提出了多种类型的显著图模型[14,1,2,8,3,25]。使用凝视测量的研究[5,12,20]也表明，显著性地图与人类注意力的实际分布非常吻合

[  自我中心视觉是什么呢  ]

自我中心视觉(Egocentric vision)是一个以自我为中心的视角分析动态场景的研究领域，例如通过头戴式摄像头拍摄的场景。

自我中心视角摄像机适用于监测自我的日常活动，因此，自我中心视觉注意力的准确预测将在医疗保健、教育、娱乐和人力资源管理等各个领域发挥作用。关于视频注意分析的研究有很多[18,21,13];然而，自我中心视觉注意的分析方法还有待探索。

这些研究中的显著性图是通过显示器显示给人体受试者的图像计算出来的，它们的有效性是根据显示器上给出的注视点进行评估的。因此，如何在包括由头部运动引起的视觉运动的自我中心视频中准确预测视觉注意，仍然是一个尚未解决的问题。本文提出了一种基于自底向上视觉显著性和自我运动信息的自中心视频注意图计算框架。在我们的框架中计算了两种基于自我运动的注意图，即基于旋转的注意图和基于平移的注意图，并与自底向上的显著性注意图聚合生成精确的注意图。 

       

【创新点  解决他】

   [  摄像机运动  ]

已经被用来分析家庭视频中的注意[18,21]。

在以自我为中心的视频中，有意识的人的头部运动可以与注意力导向有更强的关系。

[人可能脑袋里意识想看哪 就去注意力集中在哪]

Hillair等人提出了一种基于头部运动旋转因子的虚拟现实环境中自我中心视觉注意预测方法[10,11]。Fukuchi等人讨论了运动图像的焦点扩展(focus of expansion, FOE)对人类注意力的影响，并对FOE增强的显著性图[6]进行了实验评价。虽然我们工作背后的基本思想与这些研究相似，

但我们将该框架应用于真实的自我中心场景，基于运动的地图是纯粹通过输入视频