论文笔记：Transferable Interactiveness Knowledge for Human-Object Interaction Detection(CVPR2019)

已于 2022-04-27 15:53:45 修改
阅读量259 收藏
点赞数
分类专栏： Visual Relationship 文章标签： 机器学习 人工智能 深度学习 计算机视觉 神经网络
于 2021-05-11 14:06:53 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43731803/article/details/116652643
版权

核心思想：学习Interactiveness Knowledge来判断是否存在人与物体的交互。用图来表示图片中的实例和关系，实例是节点，关系是边，如果采用穷举法配对，将会产生大量的边，其中大部分没有交互关系的边都应该被舍弃。

思路：任何HOI数据集都可以转换成二分类标签，用来学习Interactiveness Knowledge。先用Interactiveness Knowledge进行Non-Interaction抑制，得到稀疏图，再进行交互关系的分类。

具体：
1.包括三部分：特征表示R、交互判断P、交互分类C
在这里插入图片描述
2.特征表示R采用带有ResNet-50的Faster R-CNN，在train和test中R都被冻结作为特征提取器
3.交互分类C采用多流融合的结构
4.交互判断P需要：human和object的外观特征，两者的空间位置，human的pose。对于human用姿态估计估计出COCO格式的17个关键点，然后将关键点用值为0.15到0.95的线连接来表示身体part，而其他区域设为0.，最终pose map大小为64x64。然后将pose map跟human map和object map连接，组成sp特征（空间）

在这里插入图片描述

最低0.47元/天 解锁文章
江东陆伯言
关注
专栏目录
CVPR 2020 | 旷视研究院提出新型人-物交互检测框架，实现当前最佳
旷视开发者技术社区
06-05 1319
IEEE国际计算机视觉与模式识别会议 CVPR 2020 (IEEE Conference on Computer Vision and Pattern Recognition) 大会官...
Detecting and Recognizing Human-Object Interactions
10-12
要理解视觉世界，机器不仅必须识别单个目标，还必须识别它们是如何交互的。本文提出了一种新的模型，挑战日常照片中检测⟨人类、动词、目标⟩三元组的任务。
Transferable Interactiveness Knowledge for Human-Object Interaction Detection
okmacong的博客
08-14 747
本文的思想方法：利用学习迁移的交互知识（人和物是否发生交互）信息，促进人和物交互检测。 关于Interactiveness Knowledge： 1.作用：指明人和物是否发生交互 2.来源：通过交互网络学习，从 HOI datasets， regardless of HOI category settings 3： ...
论文笔记之Transferable Interactiveness Knowledge for Human-Object Interaction Detection
加油
07-25 973
利用交互性学习网络在多个数据集上学习交互性知识，然后根据输入得出是否有交互，从而抑制非交互的rem-物对。 CVPR2019录用 论文地址：https://arxiv.org/abs/1811.08264 1. 摘要
Transferable Interactiveness Prior for Human-Object Interaction Detection论文阅读笔记
qq_46805191的博客
03-19 198
前言 论文地址，点这里 笔记 这篇文章主要的思想就是在对HOI分类前先做一个二分类，将输入图片中没有交互的部分给抑制掉，这像极了faster-rcnn中RPN部分对anchor回归时先做一个二分类，区分前景还是背景，然后RCNN部分再进行21分类。 作者反复提到的说这个“Interactiveness prior is beyond the HOI categories and can be learned across datasets”意思就是说关于图中人和物体是否交互与最后的具体类别是无关的，因此
图像理解--Detecting and Recognizing Human-Object Interactions
AI小作坊 的博客
06-05 5323
Detecting and Recognizing Human-Object Interactions https://arxiv.org/abs/1704.07333大牛们已经从图像的检测分割向图像理解的研究方向过度了！本文主要关注图像中的 人 和 物体的关系检测和识别，这种关系可以用一个三元素
基于视觉的机器人抓取: 论文及代码(Vision-based Robotic Grasping: Papers and Codes)
dsoftware的博客
10-22 2万+
最近总结了基于视觉的机器人抓取的相关论文及代码，同步于github。根据抓取的类别，基于视觉的机器人抓取可以分为两类：2D平面抓取以及6D空间抓取。这个页面总结了近年来涉及到的各种各样的方法，其中大部分都使用了深度学习。总结的中文框架结构如下： 0.综述论文 1. 2D平面抓取 这类方法将抓取，用平面内旋转的矩形框表示； 1.1基于RGB或者RGB-D的方法 采用基于目标检测类的方法，直接得到2D...
（九：2020.08.27）CVPR 2019 追踪之论文纲要（译）
Jojo论文基地
08-28 8748
CVPR 2019 追踪之论文纲要（修正于2020.08.28）讲在前面论文目录 讲在前面 论坛很多博客都对论文做了总结和分类，但就医学领域而言，对这些论文的筛选信息显然需要更加精细的把控，所以自己对这900篇的论文做一个大致从名称上的筛选，希望能找到些能解决当前问题的答案。 论文链接建议直接Google论文名，比去各种论文或顶会网站找不知道快捷多少。 下面皆为机器翻译，我会慢慢修正，但现在请结合。有兴趣的可以问我要处理这些论文并自动翻译的脚本。 Respect！ 论文目录 论文 概要
CVPR2019|最新更新论文~持续更新|CVPR2019百度云下载
热门推荐
王博（Kings）的博客
04-18 3万+
CVPR论文下载百度云链接：链接：https://pan.baidu.com/s/100OAXTIOTPoMjbi-dwOcxA 提取码：请关注【计算机视觉联盟】微信公众号，回复：CVPR2019 今天更新到2019年6月10号 目录 今天更新到2019年6月10号 目标检测、行人检测、视频超分辨等 FAIR工作、视频跟踪、人脸识别、动作识别 行人检测、图像生成、步态识别 目标...
论文笔记之Learning Human-Object Interaction Detection using Interaction Points
加油
07-25 2602
直接预测人-物的交互点和交互向量（用于分组），再与人/物检测结果关联得到最终结果。 CVPR2020接收 论文地址：https://arxiv.org/abs/2003.14023 1. 摘要 理解人与物体之间的相互作用是视觉分类的基本问题之一，也是实现详细场景理解的重要步骤。人与物体之间的交互（HOI）检测力求既定位人与物体，又确定它们之间的复杂交互。 大多数现有的HOI检测方法都是以实例为中心的，其中基于外观特征和粗糙的空间信息来预测所有可能的人-物体之间的交互。 作者认为，仅外观特征不足以捕获复杂.
HOTR: End-to-End Human-Object Interaction Detection with Transformers
weixin_43889476的博客
06-01 592
使用Transformer实现HOI检测,附带自己画的框架图,比较清晰的带你理解HOI检测的流程.
READING NOTE: Learning to Detect Human-Object Interactions
joshua_1988
02-28 1158
TITLE: Learning to Detect Human-Object Interactions
论文阅读：Learning Human-Object Interactions by Graph Parsing Neural Networks
Kivee的博客
09-13 3217
GPNN(ECCV2018) 文章   用来检测human-object interaction。Paper说提出GPNN的目的是为了在HOI任务中显式地对空间、时间（视频）以及human-object关系进行利用。   complete HOI指的是所有的node之间都有link，node包括human和object，假设node特征为d_V维，edge的特征为d_E维（从两个box...
CVPR2018 Detecting and Recognizing Human-Object Interactions阅读笔记
yang_daxia的博客
10-11 340
1.Introduction 本文不仅检测object, 还把object分为human和物体, 考虑任何物体的关联关系. 目的是学习一个三元组关系<human, action, object> 2.method 作者 在fast rcnn基础上扩展来个分支, 获得三元组的score, 该score由4部分组成: Sh,oa=sh⋅so⋅sha⋅gh,oa(1) S_{h, o}^...
Human-Object detection database
u013955915的博客
07-18 128
HICO &amp; HICO-DET Benchmarks for Recognizing Human-Object Interactions in Imageshttp://www-personal.umich.edu/~ywchao/hico/v-cocohttps://github.com/s-gupta/v-coco
论文阅读：Compositional Learning for Human Object Interaction
Kivee的博客
10-23 3098
Compositional Learning for HOI（ECCV 2018） 文章   作者的的想法是因为我们很难搜集到所有组合之间的interaction，所以必须会面临的问题就是要识别在数据集中从未见到过的情况，也就是HOI的zero shot learning。作者认为人的动作是具有compositional的性质的，而且人可以用不同的物体和工具达到类似的目的。比如我们可以用hamme...
检测技术再进化：人物交互检测，基于多层次条件网络的方法（ICMR2020）
我爱计算机视觉
01-11 1287
关注公众号，发现CV技术之美Human Object Interaction Detection via Multi-level Conditioned Network基于多层次条件网络的...
人物交互（human object interaction）论文汇总-2019年
加油
11-08 3244
1. Relation Parsing Neural Network for Human-Object Interaction Detection 1.1 总述 提出一种关系解析神经网络RPNN，由两部分组成：物体-身体部位图和人体-身体部位图，前者捕获身体部位与周围物体的关系，后者推断人体与身体部位的关系，并组合身体部位上下文信息以预测动作。这两个图由动作传递机制关联。 总的来说，网络基于人的特征预测动作发生的位置（参与交互物体的位置）的密度；基于物体特征预测每个动作的物体与人之间交互的概率。 1.2 网
int UF_OBJ_is_transferable ( tag_t object_id, logical * is_transferable )
最新发布
06-03
`int UF_OBJ_is_transferable ( tag_t object_id, logical * is_transferable )` 是一个用于判断对象是否可传输的函数。 函数参数解释如下： - `object_id`：要判断的对象标签。 - `is_transferable`：用于返回对象是否可传输的逻辑值。若对象可传输，则返回`true`，否则返回`false`。 函数返回值为`int`型，返回值为`0`表示成功，返回值为非`0`表示失败。 示例代码： ```c++ #include <iostream> #include <uf_part.h> #include <uf_obj.h> using namespace std; int main() { // 初始化NXOpen API UF_initialize(); // 获取当前部件 tag_t part_tag = UF_PART_ask_display_part(); // 获取对象 tag_t obj_tag; UF_UI_select_single("Select an object", &obj_tag); // 判断对象是否可传输 logical is_transferable; int is_transferable_status = UF_OBJ_is_transferable(obj_tag, &is_transferable); if(is_transferable_status != 0) { cout << "Failed to check if object is transferable." << endl; } else { if(is_transferable) { cout << "Object is transferable." << endl; } else { cout << "Object is not transferable." << endl; } } // 退出NXOpen API UF_terminate(); return 0; } ``` 在上述代码中，我们首先获取当前部件和要判断的对象，然后使用`UF_OBJ_is_transferable`函数判断对象是否可传输，并根据返回值输出结果。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值