[HOI Transfomer] End-to-End Human Object Interaction Detection with HOI Transformer(CVPR. 2021)

本文提出了一种新的端到端人类对象交互检测方法——HOI Transformer,通过Transformer架构解决HOI检测问题,避免了两阶段方法的子优化问题和一阶段方法的预定义交互提案局限。实验表明,该方法在HICO-DET和V-COCO数据集上表现优越。
摘要由CSDN通过智能技术生成
image-20210315203456710

1. Motivation

目前现有的HOI(任务交互)领域的方法是one-stage或者two-stage的。

Current approaches either decouple HOI task into separated stages of object detection and interaction classification or introduce surrogate interaction problem.

本文将transformer以端到端的形式应用于human object interaction(HOI)检测工作中。

2. Relation Work

2.1 HOI’s Goal

The goal of HOI detection aims at localizing human and object, as well as recognizing the interaction between them. 如图1所示,分别是之前的one-stage,two-stage方法以及本文提出的end-to-end方法的比较。

image-20210315205507074

2.2 Two-Stage HOI Detection

如Two-stage的方法是将HOI detection分解为了目标检测以及交互分类,确切来说,人和物的目标检测是通过预训练的目标检测器得到的,然后交互分类是通过成对结合的人-物的proposals计算。这会导致子优化问题。因为产生的human-object proposals对于交互分类来说可能是低质量的,同时成对的proposals需要被处理,会造成冗余的计算开销。

The independent optimization on two sub-problems may lead to sub-optimal solution.

2.3

  • 1
    点赞
  • 7
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值