Pairwise Body-Part Attention for Recognizing HOI（面向HOI识别的成对身体部位注意力机制）

ECCV2018		Author：Hao-Shu Fang，Cewu

Lu

摘要

在HOI识别中，卷积方法把人的身体看作是一个整体并对整个身体区域给一个统一的注意力机制。他们忽略了人和物体交互时其实是用身体的一部分进行实现的。在本文中，我们认为在HOI中不同的身体部位应该被赋予不同的注意力，而且在不同身体部位中的相关关系应该要进一步考虑。这是因为我们身体部位总是协同运作的。我们提出了一个新的可以学习集中于重要部件和相关关系的成对身体部位注意力模型。我们在模型中引入了一种新的基于注意力的特征选择方法和一种能够捕获身体部位间成对关联的特征表示方案。提升很大达到了SOTA（mAP：36.1->39.9），开源。

1.介绍

据我们所知，我们的工作是第一次尝试将注意力机制应用于人体部位关联，以识别人类与物体的交互。SOTA！

2.相关工作

我们的工作涉及到计算机视觉的两个活跃领域:人物交互和视觉注意力。
人物交互：人-物交互(HOI)识别是人类行为识别的子任务，也是理解人类实际行为的关键任务。它可以解决两个人姿态几乎相同时动作识别中的歧义问题，并在识别标签中提供更高层次的语义意义。早期的动作识别研究考虑了视频输入。代表性著作包括。在静态图像的动作识别中，以往的研究试图利用人体姿态识别人类动作。（不想写了呜呜呜~，这段还是自己看原文吧）
注意力模型：人类的感知集中在视野的某些部分来获取细节信息，而忽略那些不相关的信息。这种注意机制在计算机视觉学界已经研究了很长时间。早期受人类感知驱动的研究是显著性检测。最近，有一些研究试图将注意机制纳入深度学习框架。这种尝试在许多视觉任务中被证明是非常有效的，包括分类，检测，图像字幕和图像问答。Sharma等人首先将注意力模型应用到动作识别领域，利用LSTM对视频帧的重要部分进行聚焦。我们的工作与几个最近的工作相关。

3.我们的方法

我们的方法利用全局和局部信息推断HOI标签。
全局语境信息已经被许多前人的著作所研究。在3.1节中，我们回顾了先前利用人物和场景特征的深度学习模型1。在1模型的基础上，进一步融合对象特征。这形成了一个强大的基础网络，有效地获取全局信息。但请注意我们改进后的基本网络已经取得了比1提供的模型更好的性能。
在第3.2节中，我们描述了我们的主要算法，将成对的身体部位关联纳入深度神经网络。具体地说，我们提出了一种简单而有效的池化方法，即ROI -成对池化，该方法对每个身体部位的局部特征和它们