Deep Reasoning with Knowledge Graph for Social Relationship Understanding 阅读笔记

0 摘要

任务：社交关系推理
现状：以往的研究忽略了(i)社交关系之间的相互影响，(ii)人周围的场景信息
解决办法：
1 提出了一个端到端的可训练图推理模块，探索人与前后物体的交互关系。
2 引入图注意力机制，促进可区分的物体的识别。

1 引言

图一的目的；想说明推理两个人之间的关系是件不容易的事情。
原因一：不同场合下会有不同的的社交关系，原因二：不同场合会有不同的周边线索（contextual cues）。这里的原因一，二在图中都有所反映。

这个图在introduction的作用，也是一个引子，目的想说明对社交关系与contextual cues的相互作用进行建模的必要性.

继续讲前人工作的缺点：忽略了 semantic of contextual objects，the prior knowledge of their correlations with the social relationships，the interaction between the contextual objects and the persons of interest is oversimplified.

接下来讲做法，贡献。

2 相关工作

注意论文调研，故事线的编写，以及论文如何引出来自己的研究点。
主要是关于社交关系识别，知识表征方向的调研。

3 图推理模块

（图的设计思路理解（核心图）图为什么这样设计？考虑图与论文提出来的创新点的关系。）

图推理模块：
○1 按照[Li et al., 2017]提取人的特征，并用这些特征初始化关系节点。
1.1 过程：首先将修剪为三个区域，(i)两个人的联合体（ii）分开的两个人。
1.2 CNN对两个人的几何特征进行编码得到位置信息，将这些信息输入到一个全连接层，输出d维的特征向量。这些特征向量用于初始化社交关系节点。

○2 用Faster-RCNN检测器提取特征，并用这些特征初始化相关物体节点。
2.1用Faster-RCNN检测器检测到图片的物体，比如人，领带，电脑，而后提取这些特征用以初始化相关物体节点。

○3 用GGNN（迭代式）探索人与周边物体的交互关系。
○4最后使用图注意力机制，选出来最有用的节点。

4 实验

（主要关注消融实验的设计，注意考虑消融实验是为了证明什么？）

4.1 与最先进的方法对比

在PISC数据集上，将我们的图推理模块与现存的最先进的方法做对比。
结合各种方法的特色，对表进行分析。
比如：1结合Pair CNN + BBox + Union 和Pair CNN + BBox + Global能够提取整张图片的特征信息作为上下文信息的特点，我们推理知，Pair CNN + BBox + Union 和Pair CNN + BBox + Global在本表中表现好是因为这些方法可以用到周边的线索。
Dual-glance 结果更好，是因为它捕捉到了更细层次的局部线索，而非全局线索.
进而分析我们与之不同的地方：我们的方法用的是更高层次的知识图来推理周边信息，这些周边信息是一个很有助于社交关系识别的线索。

4.2 消融实验

4.2.1 验证知识图的有效性；

方法：随机初始化图的邻接矩阵与不随机初始化图的邻接矩阵。（后者用提取的信息用于初始化图的邻接矩阵）

结果表明：用先验知识（prior knowledge）能提高社交关系识别.

4.2.2 验证图注意力机制的有效性。

方法：1，不移除图注意力模块，但是将图注意力模块学习到的注意系数用随机选择的分数来替换，2，移除图注意力模块，仅仅整合关系节点和物体节点用于识别。3 我们的full model。

结果表明：3与2 相比表明图注意力模块的有效性，3与1相比可以表明图注意力模块学习到的注意系数有助于社交关系识别。

4.2.3 选择合适的临界值用于侦测器来检测出合适的语义物体。

（低的临界值会检测出无关物体，而高的临界值会漏掉重要的周边线索。）方法：选择不同的临界值来找到最优的临界值。

4.2.4 定性分析。

以一张图来帮助读者理解定性分析。

○1 在第一个例子中电脑，杯子，，书桌，等都被检测出来用以初始化图中的相关节点，
○2但是像书桌，杯子经常发生在社交场景中，几乎不能提供有用的信息，而电脑更容易与职业信息关联。
○3图注意力机制就是这样给有用的节点比较高的分，给没用的节点比较少的分，来助社交关系识别。
○4第二个例子，图注意力机制关注于碗和披萨来助社交关系-朋友识别。

5 总结
论文做了什么事，实验结果表明我们的领先性。