论文阅读：Visual Translation Embedding Network for Visual Relation Detection

最新推荐文章于 2024-08-09 15:32:31 发布

Kivee123

最新推荐文章于 2024-08-09 15:32:31 发布

阅读量2.7k

点赞数 2

文章标签： scene understand

本文链接：https://blog.csdn.net/qq_37014750/article/details/82976841

版权

VTransE是一种全卷积的端到端视觉关系检测框架，结合对象检测和关系检测。通过将对象特征转换到关系空间，以简单的转换向量表示关系，降低计算复杂度。该模型包括创新的转移嵌入和联合与分离模型。然而，它存在如处理null关系和缺乏上下文考虑等挑战。

摘要由CSDN通过智能技术生成

VTransE（CVPR 2017）

文章
Paper自称VtranE是第一个采用full-conv的end-to-end的relation detection架构，是同时进行object detection和relation detection的。VTransE将object特征转换到一个低维的relation空间，在这个空间里，relation可以被建模成简单的转换向量（translation vector），比如：
在这里插入图片描述
直观地表示就如下图：

注意这里的predicate（谓语）可以是verb，spatial（如above），preposition（如with），comparative（如taller）。可以说visual relation是沟通了视觉和语言的桥梁。
VTransE的创新点有两处：1.避免了对object pair遍历进行复杂计算的情况，只需要计算每个object在relation space的特征向量，然后便可以用减法得到它们之间的relation，大大减小了计算复杂度