Contextual Heterogeneous Graph Network for Human-Object Interaction Detection论文阅读笔记

前言

论文地址

笔记

1. 这篇论文很像之前的GPNN，也是将HOI描述成图，利用图的结构来构建网络。但是这篇文章指出，前边的GPNN及其他类似的网络，都将human和object当作一样的节点，但是这篇文章认为，他们应该属于两个不同种类的节点，这样进行分类更好。
   
2. 如图1所示，在本文的做法当中，会将一张图片中的自行车和人标记为不同的节点，例如人都是红色框标注，物体都是蓝色框标注，同一类的节点在文中称之为homogeneous nodes它们之间称为intra-class，而不同类的节点称为heterogeneous nodes，他们之间称为inter-class。
   
3. 特征提取网络如图，Spitial map和之前提到的没什么区别，仍然是两个通道，bbox里边的值为1，其它为0。human block和object block是在使用预训练目标检测器提取特征的基础上进一步提取特征。
   
4. 图三是整个的推理过程，学习策略分是迭代的传递信息并更新节点的隐藏层特征。首先第一步是信息传递，因为节点类型不同，所以这里的信息分为intra-class和inter-class，计算公式如公式1：
   
   这里的u代表的就是和当前要计算的节点v的信息相邻的homogeneous nodes，因为计算的是intra信息，要在同类节点之间计算。hu就是u这个节点的特征，evu是连接v和u的边的特征，Agg1和F1在后边会详细介绍。
   
   同样的inter信息的计算公式类似：
   
   然后就是要更新节点的状态：
   
   这里的hv0是节点0的初始特征，hv是当前特征，hv’是下一次迭代后的特征，而u是一个MLP。
5. 其实比较重要的就是如何计算节点信息以及如何更新节点。这里除了这两个问题作者还将注意力机制引入了这个模型：
   
   
   这里的ri是一种用来计算intra-class的上下文特征，计算出来每一个节点（是human节点）的这个特征之后，计算它们之间的距离这里使用的是cosine相似度。然后计算出这个距离之后就可以得出对于当前节点pi和其它几个human节点的紧密程度，类似于self-attention里边的权重。当然这个值还要经过softmax进行归一化。
   
   然后公式1重写成公式8，这里其实是吧公式1中的v用human节点pi来代替，并且加上了注意力权重αij。这里的f和前边的mean应该是吧公式1中的F1、agg1、hu、euv等聚合在了一起。加上了注意力机制的好处就是对于节点pi它可以从关系密切的节点中获取更多的信息，而那些不相关的节点（权值很小）在训练过程中就会断开连接被淘汰。
   
   而计算inter-class间的注意力机制时使用的是一个interactiveness weight w，其实作用都是一样的，换了个符号和计算方式而已。这里的wij训练出来之后加上这个注意力机制原来的公式2就被写成：
   
   前边其实还是一个softmax对wij归一化，然后后边的f就是公式2计算特征的一些东西，只不过这里除了用到hoj还要用到空间特征，中间的符号是concatenate。
6. 最后推理的时候，使用一个联合分类器，计算yij的得分，这里就是把最终更新好的hpi、hoj和原来的spioj送进去（注意我们前边加上的注意力机制其实还是为了有效率的更新节点的隐藏状态，更新的过程中每个节点都会从他们邻居节点吸收信息）：
   
   训练的loss有两部分，除了预测动作的还要加上前边在inter-class的注意力机制里使用的loss(注意intra-class中注意力的权值并不需要训练)。最后的HOI检测得分，是y的得分和目标检测器检测h和o的得分三者的乘积。
   
7. 后边就是一些实验结果大同小异，就不再赘述。这篇文章关键就是搞清楚结点如何更新，以及用来更新节点的信息如何计算。再就是两类节点计算信息时加上的注意力机制的权值是如何计算出来的（两类节点计算的方式不一样）。