论文笔记之Transferable Interactiveness Knowledge for Human-Object Interaction Detection

最新推荐文章于 2024-06-10 21:17:43 发布
最新推荐文章于 2024-06-10 21:17:43 发布
阅读量952 收藏 3
点赞数
分类专栏： 论文笔记 文章标签： TIN HOI 人物交互 计算机视觉 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/haha0825/article/details/107532287
版权

利用交互性学习网络在多个数据集上学习交互性知识，然后根据输入人-物对得出是否有交互，从而抑制没有交互的人-物对。
CVPR2019录用
论文地址：https://arxiv.org/abs/1811.08264

1. 摘要

人与物体的交互（HOI）检测是了解人类如何与物体交互的一个重要问题。在本文中，作者探讨了交互性知识，该知识指示人与物体是否相互交互。 作者发现，无论HOI类别设置如何，都可以跨HOI数据集学习交互性知识。

因此本文的核心思想是利用交互性网络从多个HOI数据集中学习一般的交互性知识，并在进行HOI分类之前进行非交互抑制。 考虑到交互的普遍性，所以交互性网络是可转移的知识学习者，可以与任何HOI检测模型配合使用以获得理想的结果。

2.相关工作

与HOI识别是图像级别分类问题不同，HOI检测需要检测交互的人-物对并在实例级别对它们的交互进行分类。 借助DNN和大规模数据集，最近的方法取得了重大进展。 Chao等提出了一种结合视觉特征，空间位置的多流模型来帮助解决这个问题。 为了解决长尾问题，Shen等研究了zero-shot学习问题，并分别预测了动词和宾语。 在[Detecting and recognizing human-object interactions]中，引入了一种特定于动作的密度图估计方法来定位与人互动的物体。 在[Learning human-object interactions by graph parsing neural networks]中，齐等人提出的GPNN结合了DNN和图形模型，该模型使用消息解析来迭代更新状态并对所有可能的人-物对/边缘进行分类。 Gao等人开发了一个以实例为中心的注意力模块来增强来自感兴趣区域的信息并促进HOI分类。

通常，这些方法是分阶段进行的，可能会遭受严重的非交互对控制问题。 为了解决这个问题，作者利用交互性来明确区分非交互对，并在HOI分类之前将其抑制。

3. 本文方法

3.1 总体结构

在这里插入图片描述
主要分为三个部分：R（提取特征）、P（交互性网络，学习交互性，进行非交互抑制）、C（HOI分类网络执行HOU分类）。CNN Block为残差块。P的人分支和物分支与C的共享参数（图中虚线连接的）。

训练时，P和C一起训练，因为通常情况下非交互的实例的比例较大，所以P能提供一个强大的监督信号来优化网络。

测试时，P分为两个阶段使用：
（1）利用学习到的交互性知识来评估边缘的交互性；
（2）综合P和C的HOI得分进行分类。

3.2 Representation and Classification Networks

（1）检测人和物

使用ResNet-50-FPN的检测器进行检测边框和得分。

（2）Representation Network

使用修改的基于resnet50的faster rcnn作为特征提取网络，该部分在训练期间被冻结，充当特征提取器。

（3）HOI分类网络

多流网络，后期进行分数融合，利用人分支、物分支提取人、物的特征和上下文特征。每个分支都有池化层和全连接层。

在这里插入图片描述
spatial-pose流输入包括3种图，姿态图、人图、物图。姿态和位置有利于交互性的判断。

spatial流用来编码实例的空间信息，输入为两通道张量，一个人图，一个物图，在人/物预测框中值为1，其余位置值为0.

每个分支先预测HOI分类，然后融合三个分支的预测作为结果。

3.3 Interactiveness Network

该部分主要包括三个分支，人检测分支、物检测分支、空间姿态检测分支。

（1）人分支和物分支

首先R部分提取的特征传入网络，经过ROI Pooling，得到预测框，传入H^p, O^p（这部分结构和C中的对应部分一样），再经过之后的全局平均池化和全连接层，输出人的特征图和物的特征图f_h和f_o。

（2）Spatial-pose分支

对于每一对人/物，估计人体的17个关键点，将这些关键点按照灰度值，从0.15到0.95连接起来，不同的值表示不同的身体部位。其他部分值为0 。最后统一变形到64*64大小来构建姿态图。然后将姿态图与spatial流中的人/物图连接（拼接）起来，作为spatial-pose流的输入。然后经过最大池化和全连接层提取三个分支（人、物、空间姿态）的特征f_sp 。

最后将该输出f_sp与（1）中的输出f_h和f_o拼接起来以进行交互性判别。

置信度给出：
在这里插入图片描述
L（sh，so）是名为低级实例抑制（LIS）的新的权重函数。
在这里插入图片描述
强调高等级的人/物，并将高级的与低级的实例分开。
在这里插入图片描述
它以人/物的检测得分作为输入。

其中：
在这里插入图片描述
P（.）是logistic函数的一部分，T,K,w的值由数据驱动的方式确定。

低级（置信度低）的边界框将具有低权重，直至其得分高于阈值为止。

3.4 训练和测试

3.4.1 训练

基于R，P和C，框架具有两种使用模式：默认模式下的分层联合训练和转移学习模式下的交互性传递训练。

  • 分层联合训练

在默认模式下，引入了分层联合训练方案，如下图所示：
在这里插入图片描述
即交互性鉴别和HOI分类是分层、联合（共享权重）训练的。

损失函数可以表示为：
在这里插入图片描述
其中Lc为HOI分类的交叉熵损失，Lp为二元分类交叉熵损失。

此模式下，当将一对预测为诸如“切蛋糕”之类的特定HOI时，P必须同时给出预测“交互”才可作为结果。

以下将默认模式下的框架称为在这里插入图片描述，其中“ D”表示“默认”。

  • 交互性传递训练
    在这里插入图片描述
    跨数据集进行学习，可以与在不同数据集上的多个C合作。

相反，考虑到不同数据集中HOI类别设置的多样性，C必须在单个数据集中进行训练。 因此，特定HOI的知识难以传递。

所以为了更好的表示可传递性和增强交互性，设置了几种学习方式。
（1）在这里插入图片描述在1个数据集上训练P并将P应用于另一个数据集。

（2）在这里插入图片描述在2个数据集上训练P并将P分别应用于它们。

为了比较交互性知识和HOI知识的可传递性，为C设置了传递学习模式，即首先在A数据集上训练并测试C，然后替换C中的最后的FC层，并在B数据集上微调1个epoch，最后在B数据集上测试。
（3）在这里插入图片描述一个数据集上训练C（没有P）并将其应用于另一数据集。

（4）在这里插入图片描述在HICO-DET上训练并测试C。

3.4.2 测试

用P计算所有边缘（交互）的交互得分，然后得分小于某个阈值的交互抑制掉。这样原始稠密的交互图G变为稀疏的交互图G’。

C的HOI的分类得分向量：

在这里插入图片描述
其中在这里插入图片描述是输入特征。

最终的HOI分类得分为：
在这里插入图片描述

4. 实验

在这里插入图片描述

4.1 SOTA对比

在这里插入图片描述
在这里插入图片描述

在这里插入图片描述的巨大提升表明了HOI知识良好的可传递性和交互知识的有效性。

对于在这里插入图片描述，前者比后者提升了3点多，表明了交互性知识比HOI知识更适合并且更易于传递。

4.2 消融实验

（1）NIS
在这里插入图片描述
NIS后非交互实例的数量明显下降，证明了NIS的有效性。

（2）消融实验
在这里插入图片描述
第一个3行部分分别代表无NIS、无LIS、两者都无的情况下的结果。发现两者都无性能下降的最多，无NIS比无LIS下降的多。

第二个3行分别表示只有人分支、只有物分支、只有空间姿态分支的情况下的结果，发现3个分支中，空间姿态分支贡献最大，但是提高性能也少不了人/物分支。

To_1_oT
关注
  • 0
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
专栏目录
论文笔记：Transferable Interactiveness Knowledge for Human-Object Interaction Detection(CVPR2019)
王小石的博客
05-11 250
核心思想：学习Interactiveness Knowledge来判断是否存在人与物体的交互。用图来表示图片中的实例和关系，实例是节点，关系是边，如果采用穷举法配对，将会产生大量的边，其中大部分没有交互关系的边都应该被舍弃。 思路：任何HOI数据集都可以转换成二分类标签，用来学习Interactiveness Knowledg。先用Interactiveness Knowledge进行Non-Interaction抑制，得到稀疏图，再进行交互关系的分类。 具体： 1.包括三部分：特征表示R、交互判断P、交互
hogmatlab源码-Learning-Transferable-Subspace-for-Human-Motion-Segmentatio
05-19
18论文（TSS）的代码。 TSS是一种用于时空中人类动作分割的新颖方法。 它利用标记良好的源视频来改善目标视频分割性能。 时间数据聚类是一项具有挑战性的任务。 现有方法通常会探索数据自我表示策略，这可能会在数据...
Transferable Interactiveness Knowledge for Human-Object Interaction Detection
okmacong的博客
08-14 739
本文的思想方法：利用学习迁移的交互知识（人和物是否发生交互）信息，促进人和物交互检测。 关于Interactiveness Knowledge： 1.作用：指明人和物是否发生交互 2.来源：通过交互网络学习，从 HOI datasets， regardless of HOI category settings 3： ...
消融实验（Ablation Study）
幼儿园大哥~
06-10 437
消融实验是一种通过逐步删除或修改系统的特定部分，来观察这些变化如何影响系统的功能、性能或行为的实验设计。在深度学习领域，消融实验常用于评估模型的鲁棒性、稳定性和性能。
Transferable Interactiveness Prior for Human-Object Interaction Detection论文阅读笔记
qq_46805191的博客
03-19 190
前言 论文地址，点这里 笔记 这篇文章主要的思想就是在对HOI分类前先做一个二分类，将输入图片中没有交互的部分给抑制掉，这像极了faster-rcnn中RPN部分对anchor回归时先做一个二分类，区分前景还是背景，然后RCNN部分再进行21分类。 作者反复提到的说这个“Interactiveness prior is beyond the HOI categories and can be learned across datasets”意思就是说关于图中人和物体是否交互与最后的具体类别是无关的，因此
CVPR 2019|Transferable Interactiveness Knowledge for Human-阅读笔记Interaction Detection
weixin_59340037的博客
05-05 243
论文地址：https://arxiv.org/pdf/2101.10292.pdf 代码地址： https://github.com/DirtyHarryLYL/Transferable-Interactiveness-Network 本文为了探索人与物之间是否存在 交互的互动性，这些互动性可以通过HOI数据集学习到，并且能够缩小不同HOI种类设置之间的差距，本文的核心思想四利用互动性网络从多个HOI数据集中学习常见的互动性知识，并在推理HOI分类之前进行交互抑制（Non-Interaction Suppr
论文笔记之Learning Human-Object Interaction Detection using Interaction Points
加油
07-25 2584
直接预测人-物的交互点和交互向量（用于分组），再与人/物检测结果关联得到最终结果。 CVPR2020接收 论文地址：https://arxiv.org/abs/2003.14023 1. 摘要 理解人与物体之间的相互作用是视觉分类的基本问题之一，也是实现详细场景理解的重要步骤。人与物体之间的交互（HOI）检测力求既定位人与物体，又确定它们之间的复杂交互。 大多数现有的HOI检测方法都是以实例为中心的，其中基于外观特征和粗糙的空间信息来预测所有可能的人-物体之间的交互。 作者认为，仅外观特征不足以捕获复杂.
目标检测——day46 可转移交互性知识的人机交互检测
想太多的学习日志
10-21 890
在本文中，我们提出了一种新的方法来学习和利用内隐互动知识，这是通用的和超越相关性的范畴。因此，它可以跨数据集进行传输。我们提出了一个层次交互范式来采用实例和部分级交互。并进一步探索了一个一致性学习任务来提高学习能力。利用交互知识，我们利用交互网络在推理HOI分类之前进行非交互抑制。大量的实验结果表明，学习到的交互性知识的效率。通过将我们的方法与现有的检测模型相结合，我们实现了在HOI检测任务上的最先进的结果。
Transferable-Interactiveness-Network:用于人与物体交互检测的可传递交互性知识代码。 （CVPR'19，TPAMI'21）
05-04
它包括最近广泛使用的基准测试上与HOI相关的大多数论文，代码，数据集和排行榜。 希望它可以帮助每个对HOI感兴趣的人。 代码“用于人与对象交互检测的可传递交互性知识” 。 通过创建，周思远，，，本泽马，郝舒放...
Transferable Conditional E-cash with Optimal Anonymity in the Standard Model.
02-10
Transferable Conditional E-cash with Optimal Anonymity in the Standard Model.
Approximating probability distribution of circuit performance function for parametric yield estimation using transferable belief model
02-21
Approximating probability distribution of circuit performance function for parametric yield estimation using transferable belief model
Learning Transferable Architectures for Scalable Image Recognition
09-18
Developing neural network image classification ...detection, the learned features by NASNet used with the Faster-RCNN framework surpass state-of-the-art by 4.0% achieving 43.1% mAP on the COCO dataset
lThe Transferable Belief Mode for quantified belief representation
08-04
The Transferable Belief Model for quantified belief representation
2015 Learning Transferable Features with Deep Adaptation Networks.pdf
04-02
2015 Learning Transferable Features with Deep Adaptation Networks.pdf
ST-MOE DESIGNING STABLE AND TRANSFERABLE SPARSE EXPERT MODEL.pdf
最新发布
06-15
### ST-MOE: 设计稳定且可转移的稀疏专家模型 #### 摘要与背景 本研究探讨了在自然语言处理（NLP）领域中如何设计稳定且高效的稀疏专家模型（Sparse Expert Model）。随着规模的扩大，自然语言处理技术取得了显著...
js 复制功能 支持 for IE/FireFox/mozilla/ns
10-30
var transferable = Components.classes['@mozilla.org/widget/transferable;1'] .createInstance(Components.interfaces.nsITransferable); if (!transferable) return; transferable.addDataFlavor('text/...
Learning Human-Object Interactions by Graph Parsing Neural Networks阅读笔记
qq_46805191的博客
03-17 523
前言 这是一篇2018年发表在ECCV上得paper，论文原文点这里。 笔记 说实话刚看到这篇文章还是有点唬人的，文中作者提出了一个网络模型叫GPNN，图解析神经网络，我以为是跟GNN有关系，花了一些时间去看了近些年GCN的一些发展回头又读这篇文章的时候把GCN的思想带进去发现怎么都读不懂，后来才发现这篇文章仅仅是用了图的“结构”，后边的网络仍然是正常的Conv2D卷积。 作者介绍，其提出了GPNN，一个可以结合结构知识和深度神经网络的学习能力的端到端的模型框架。对于给定的情景（一张图片），GPN
【CVPR2019_论文汇总】（按方向划分，0401 更新中）
热门推荐
maweifei的博客
04-01 3万+
转载链接：http://bbs.cvmart.net/topics/302/cvpr2019paper 作为计算机视觉领域三大顶会之一，CVPR2019（2019.6.16-6.19在美国洛杉矶举办）被CVers 重点关注。目前CVPR 2019 接收结果已经出来啦，相关报道：1300篇！CVPR2019接收结果公布，你中了吗？ 开设此帖希望可以实时跟进CVPR2019的即时信息及相关优秀论文，...
Learning Human-Object Interactions by Graph Parsing Neural Networks代码学习（Ubuntu+pycharm）
qq_40250617的博客
05-19 1752
１．class GPNN_HICO(torch.nn.Module)：　类 　　torch.nn.Module这个类内部有多达４８个函数，是ｐｙｔｏｒｃｈ中所有神经网络模型的基类；GPNN_HICO继承了torch.nn.Module这个类，成为了torch.nn.Module的子类， ２．def __init__(self, model_args):　方法 　　ｓｅｌｆ是定义每个类的方法 ...
int UF_OBJ_is_transferable ( tag_t object_id, logical * is_transferable )
06-03
`int UF_OBJ_is_transferable ( tag_t object_id, logical * is_transferable )` 是一个用于判断对象是否可传输的函数。 函数参数解释如下： - `object_id`：要判断的对象标签。 - `is_transferable`：用于返回对象是否可传输的逻辑值。若对象可传输，则返回`true`，否则返回`false`。 函数返回值为`int`型，返回值为`0`表示成功，返回值为非`0`表示失败。 示例代码： ```c++ #include <iostream> #include <uf_part.h> #include <uf_obj.h> using namespace std; int main() { // 初始化NXOpen API UF_initialize(); // 获取当前部件 tag_t part_tag = UF_PART_ask_display_part(); // 获取对象 tag_t obj_tag; UF_UI_select_single("Select an object", &obj_tag); // 判断对象是否可传输 logical is_transferable; int is_transferable_status = UF_OBJ_is_transferable(obj_tag, &is_transferable); if(is_transferable_status != 0) { cout << "Failed to check if object is transferable." << endl; } else { if(is_transferable) { cout << "Object is transferable." << endl; } else { cout << "Object is not transferable." << endl; } } // 退出NXOpen API UF_terminate(); return 0; } ``` 在上述代码中，我们首先获取当前部件和要判断的对象，然后使用`UF_OBJ_is_transferable`函数判断对象是否可传输，并根据返回值输出结果。
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值