CVPR2020 | VSGNet:Spatial Attention Network for Detecting Human Object Interactions Using G

最新推荐文章于 2024-09-09 09:16:42 发布
最新推荐文章于 2024-09-09 09:16:42 发布
阅读量729 收藏 5
点赞数 2
分类专栏： human object interaction 文章标签： 人工智能 计算机视觉 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_59340037/article/details/125390204
版权

论文地址:

https://openaccess.thecvf.com/content_CVPR_2020/papers/Ulutan_VSGNet_Spatial_Attention_Network_for_Detecting_Human_Object_Interactions_Using_CVPR_2020_paper.pdf
代码地址:https://github.com/ASMIftekhar/VSGNet

研究内容

本文的研究主题是人物交互检测(HOI),包含对人,物的位置定位,交互判断,它是视觉场景理解,视觉问答,行为识别中任务的一部分,该任务目前的挑战:
(1)交互的通常以一种很细微的方式发生,同种交互在不同场景中可能存在很大的差异
(2) 一个人可以与多个物体发生交互,一个物体也可以与多个人发生交互

主要贡献

  • 提出了一个空间注意力分支利用了人物对的空间结构,并优化了视觉特征,使得在空间上相关的人物对被加强了
  • 使用图卷积分支,利用了人与物之间的结构联系,通过空间特征优化后的视觉特征来产生交互建议分数,用于定义人与物节点之间的边的强度
  • VSGNet 包含了基于视觉,空间,图的分支,并形成了一个具有稳健性的管道.

研究方法

最低0.47元/天 解锁文章
DRG: Dual Relation Graph for Human-Object Interaction Detection阅读笔记
qq_46805191的博客
04-09 688
笔记 这篇文章作者提出的模型仍然是利用了图结构的一种模型，和之前的图结构的区别在于这篇文章中作者提出的模型并不是dense的，他将原来的图分成了两个子图。并且在特征编码的时候也加入了language方面的特征。注意这篇文章的标题DRG只是本文提出的整个模型中的一个模块。 如图2可以看到，现有的方法要么像b一样仅仅依赖于预测每一个HO对，从而忽略了丰富的上下文细节，要么就是比较dense的连接图。dense的问题在于会使得学习的推理的难度比较大。作者提出的module利用两个稀疏的subgraph，即利用
论文阅读笔记：2020 CVPR Human Object Interactions (HOI) 论文 VSGNet
youshiwukong1524的博客
04-30 1869
论文题目：VSGNet: Spatial Attention Network for Detecting Human Object Interactions Using Graph Convolutions 会议：2020 CVPR 机构：加州大学圣 巴巴拉分校 电子与计算机工程系 论文：https://arxiv.org/abs/2003.05541 代码：https://github....
Detecting and Recognizing Human-Object Interactions
10-12
要理解视觉世界，机器不仅必须识别单个目标，还必须识别它们是如何交互的。本文提出了一种新的模型，挑战日常照片中检测⟨人类、动词、目标⟩三元组的任务。
Paper Reading: Detecting and Recognizing Human-Object Interactions
weixin_38328084的博客
05-06 421
Abstract Introduction 得益于深度学习的特征表征方法，基于视觉信号对单独个体进行识别的工作有了很大的提升，如物体检测和人的动作姿态估计。但是，识别单一个体只是机器进行视觉世界理解的一小步，对个体间关系的识别对图像理解尤为重要。本文中我们聚焦于人-物交互关系的研究。 人-物交互关系识别的任务可以理解成是对<人，动作，物品>三元组合的检测任务，该任务具有很大的应用价值和...
VSGNet:VSGNet
05-01
VSGNet ， ， 。 论文的官方资料库。 引用 如果您认为这项工作有用，请考虑引用我们的论文： @InProceedings{Ulutan_2020_CVPR, author = {Ulutan, Oytun and Iftekhar, A S M and Manjunath, B. S.}, title = {VSGNet: Spatial Attention Network for Detecting Human Object Interactions Using Graph Convolutions}, booktitle = {IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)}, month = {June}, year = {2020} } HICO-DET和V-COCO的结果
VSGNet：利用图卷积进行人体物体交互检测的注意力网络
title = {VSGNet: Spatial Attention Network for Detecting Human Object Interactions Using Graph Convolutions}, booktitle = {IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)}, month...
CVPR 2020顶会图神经网络论文精选：视频文本检索与3D人脸重构
5. **VSGNet：Spatial Attention Network for Detecting Human Object Interactions.pdf.pdf** - VSGNet：用于检测人-物交互的空间注意力网络：介绍了一个专门设计的网络，它利用空间注意力机制来识别和分类人和...
论文笔记之Detecting Human-Object Interaction via Fabricated Compositional Learning
加油
04-27 1226
解决HOI的长尾分布问题，通过引入一个物体制造器来生成有效的物体表示，然后将动词与虚构的物体进行组合以组成新的HOI样本，这样能够生成稀有和unseen类别的大规模HOI样本，从而减轻长尾问题。 CVPR2021 论文地址：https://arxiv.org/abs/2103.08214 代码地址：https://github.com/zhihou7/HOI-CL 1. 总述 从图像/视频中推断人与物体之间的关系的人物交互（HOI）检测是了解高级场景的一项基本任务。 但是，HOI检测通常会遇到交互类别的.
图像理解--Detecting and Recognizing Human-Object Interactions
AI小作坊 的博客
06-05 5374
Detecting and Recognizing Human-Object Interactions https://arxiv.org/abs/1704.07333大牛们已经从图像的检测分割向图像理解的研究方向过度了！本文主要关注图像中的 人 和 物体的关系检测和识别，这种关系可以用一个三元素
Learning to Detect Human-Object Interactions
qq_40523516的博客
06-02 729
WACV2017 Author:Yu-Wei Chao 摘要 我们为HOI检测提出一个新的benchmark，HICO-DET。提出一个新模型HO-RCNN。模型的核心是Interaction Pattern，一种描述两个边界框之间空间关系的新型DNN输入。 1.介绍 本文主要有两个贡献：（1）提出HICO-DET数据集，它提供了超过15w个标注的人-对象对，跨越在HICO中的600个类别，即平均每个类别有250个实例。（2）提出了HO-RCNN，这是一种基于DNN的可以将检测单个bbox扩展到一对
ECCV 2018| Learning Human-Object Interactions by Graph Parsing Neural Networks阅读笔记
weixin_59340037的博客
04-20 1049
本文主要是为了解决图像和视频中的HOI任务，引入了图解析神经网络（GPNN），是一个利用结构知识的端到端的可分辨结构。给出一个场景，GPNN能够推断出一个解析图，并且包含（1）使用邻接矩阵表示的图结构（2）节点标签。当消息传递到网络中是，GPNN就会迭代计算出邻接矩阵与节点标签。在V-COCO、HICO-DET、CAD-120上评估该方法都取得了较好的效果。 论文地址：http://cn.arxiv.org/abs/1808.07962 代码地址：https://github.com/SiyuanQi/gp
Cascaded Human-Object Interaction Recognition论文阅读笔记
qq_46805191的博客
04-15 874
笔记 现有的方法大都采用single-stage的推理线，考虑到任务的复杂性，作者提出了一种采用级联结构，多分支，从粗糙到细致的HOI理解。 如图1，作者的模型包含了一个实例定位网络和一个交互识别网络。这两个网络都以级联的形式工作，通过实例定位网络，一步一步的增强选择的实例，proposal的质量提高，对于接下来的相关表示也是非常有用的。而且也可以实现更好的动作预测。 如图2可以看出两种模式的区别，a表示的是single stage方法，b是作者提出的级联结构，这种结构不仅可以解决HOI检测的问题，还可
使用no_frills_hoi_det检测其它数据集中的Human Object Interaction的过程
YoJayC的博客
07-29 452
no_frills_hoi_det主要由三个部分组成 第一个部分对输入图片x中包含人类的每个物体生成一组候选框 第二个部分对x运行OpenPose来得到骨骼关键点 第三个部分用提出的分解模型对HOI候选对进行排序 no_frills_hoi_det的代码中根据anno_list（anno_list是在Process HICO-Det files步骤中生成的）来生成对应的images_in_out.json文件，主要的代码片段如下 images_in_out = [None]*len(anno
论文阅读：Compositional Learning for Human Object Interaction
Kivee的博客
10-23 3201
Compositional Learning for HOI（ECCV 2018） 文章   作者的的想法是因为我们很难搜集到所有组合之间的interaction，所以必须会面临的问题就是要识别在数据集中从未见到过的情况，也就是HOI的zero shot learning。作者认为人的动作是具有compositional的性质的，而且人可以用不同的物体和工具达到类似的目的。比如我们可以用hamme...
探索人与世界的互动新境界：HOTR——基于Transformer的端到端人对象交互检测框架...
最新发布
gitblog_00030的博客
09-09 1023
探索人与世界的互动新境界：HOTR——基于Transformer的端到端人对象交互检测框架 hotrOfficial repository for HOTR: End-to-End Human-Object Interaction Detection with Transformers (CVPR'21, Oral Presentation)项目地址:https://gitcode.com/gh...
人物交互（human object interaction）论文汇总-2018年
加油
11-08 5522
1. Detecting and Recognizing Human-Object Interactions 1.1 总述 中心思想是以人为中心。假设是一个人的外表信息（姿态、衣服、动作等）是确定与他们交互的物体的有力线索（人的外表信息对于定位参与交互的物体可能处于何处是很有帮助的，根据此可以进一步缩小参与交互的目标物体的搜索空间）。为了利用这个线索，本文的模型学习了根据检测到的人和人的外表信息来预测特定动作的物体位置的密度。 1.2 网络结构 主要分为三个分支：目标检测分支、人为中心分支、交互分支。其中
人物交互（human object interaction）论文汇总-2019年
加油
11-08 3371
1. Relation Parsing Neural Network for Human-Object Interaction Detection 1.1 总述 提出一种关系解析神经网络RPNN，由两部分组成：物体-身体部位图和人体-身体部位图，前者捕获身体部位与周围物体的关系，后者推断人体与身体部位的关系，并组合身体部位上下文信息以预测动作。这两个图由动作传递机制关联。 总的来说，网络基于人的特征预测动作发生的位置（参与交互物体的位置）的密度；基于物体特征预测每个动作的物体与人之间交互的概率。 1.2 网
人物交互（human object interaction）论文汇总-2020年
热门推荐
加油
11-08 1万+
1. Learning Human-Object Interaction Detection using Interaction Points 1.1 总述 大多数现有的HOI检测方法都是以实例为中心的，其中基于外观特征和粗糙的空间信息来预测所有可能的人-物体之间的交互。作者认为，仅外观特征不足以捕获复杂的人与物体的相互作用。因此，在本文中，作者提出了一种新颖的全卷积方法，该方法直接检测人与物体之间的相互作用。 网络会预测交互点，这些交互点可以直接对交互进行定位和分类。与密集预测的交互向量配对，这些交互与人
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值