ICCV 2019 |Deep Contextual Attention for Human-Object Interaction Detection论文阅读笔记

已于 2022-05-06 08:40:00 修改
阅读量3.4k 收藏
点赞数
分类专栏： human object interaction 文章标签： 目标检测 计算机视觉 人工智能 分类
于 2022-04-19 15:54:30 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_59340037/article/details/124242615
版权

人物交互检测是视觉关系检测任务中非常重要的一类任务，对于场景的深入理解至关重要，现在很多方法将其分解为目标定位与交互识别，尽管取得了一定的进展，但是这些方法仅仅依赖于人和物体的外观而忽略掉有效的上下文信息，但是这些信息对于捕获他们之间的细微交互是非常重要的。本文提出了一个用于人物交互检测的上下文注意力框架，该方法通过学习实例的上下文感知外观特征来利用上下文信息，然后使用注意力模块自适应的选择与实例相关的上下文信息，以突出可能包含人物交互的图像区域。该方法在V-COCO上获得了4.4%的mAProle的提高，达到47.3%.

论文地址：https://arxiv.org/pdf/1910.07721v1.pdf

文章目录

研究背景

近年来，以实例为中心的识别任务取得巨大的进展，如目标检测和分割，其在机器人，自动驾驶，监控等领域有着很多的应用，然而这些应用需要对超过实例级任务的场景语义具有更加深入的理解，例如对目标对之间的视觉关系的推理，HOI（human-object interactions detection,人物交互检测）是视觉关系检测的一种，当给出一张图片，其目标不仅仅是定位出人和物体，并且需要识别出他们之间的交互关系，可以归结为检测<人，动作，物体>三元组。由于该问题需要关注带有细粒度动作的以人为中心的交互（如骑马与喂马）还需要关注多个动作同时发生的情况（坐在椅子上一边吃东西一边玩电脑），因此具有很大的挑战性。
以前的方法主要是将其分为为两个部分：目标定位与交互识别。在第一阶段使用两阶段的目标检测器对图像中的人体和物体实例进行定位，第二阶段，在一个多流网络结构中分别检测人体实例和物体实例以及他们之间的两两交互。一些方法通过将结构信息，目光，姿势等线索整合在一起获得了一定的性能提升，但是比起像目标检测实例分割这些视觉任务，HOI检测的效果还远不如人意。
目前的HOI 检测方法趋向于关注人物实例的外观特征，这些特征对于人物交互的评分至关重要，以此来识别三元组。然而一些在不同的图像粒度上容易获得的有效的辅助信息（如上下文信息）却被忽略了。上下文信息对于一些计算机视觉任务的性能提高具有很重要的作用，然而对于HOI检测人物，其探索仍然相对不足。被检测区域周围的上下文消息可能会对标准边界框的外观特征提供补充信息，全局的上下文信息能够对确定某个特定目标种类的存在或缺失提供有价值的图像级的信息。如当检测驾船时，人，船，水可能都出现在图片中，当检测驾车时，仍然存在驾驶的动作，但是上下文信息（水）发生了改变。除了全局的上下文信息，每个人/物实例附近的信息对于区分不同的交互也提供了一些线索。比如包含同一物体的各种交互，吃苹果的动作周围应该是一个脸，切苹果的动作可能是手的一部分。在本文中，将上下文信息利用到HOI 检测中。

相关工作
目标检测：目标检测的发展主要依赖于CNN网络，基于CNN的目标检测器可以分为两阶段和单阶段的方法。两阶段的方法会先使用目标建议框生成器生成感兴趣区域，然后再进行目标分类和边界框回归。对于单阶段的方法直接使用anchors进行目标分类和边界框回归,其预测的是边界框的偏离而不是坐标。相比单阶段的方法两阶段的方法通常更加精确，在之前的方法中通常使用两阶段的FPN去检测人/物实例。

人物交互检测：InteractNet、GPNN、ICAN、HORNN

视觉中的上下文线索：在目标检测、图像分割中取得了较成功的应用，但是在HOI检测的任务仍需要进一步探索。
在这里插入图片描述

研究内容

1.对于人/物实例引入富含上下文信息的外观表示特征，全局上下文提供辅助信息的同时，也产生了背景噪声，会影响交互识别的性能，因此提出了一个注意力模块在保留相关的上下文信息的同时抑制背景噪声，并且能够根据特定的人/物实例突出交互的区域（如踢球与扔球）。产生的人/物注意图用于将全局特征调整为可能包含人物交互的突出图像区域。

2.本文在V-COCO,HICO-DET,HCVRD数据集上进行验证，并进行消融研究，结果显示了基于上下文信息的方法相较于没有的方法获得了很重要的改进。并且在每个数据集上都获得了很先进的表现，在HOI-DET其mAP相较于GPNN获得了9.4%的提高。

研究方法

  1. 整体框架
    在这里插入图片描述
    该网络由两个阶段组成：定位和交互预测
    定位：采用FPN对图像中所有可能的人物实例产生边界框
    交互预测：融合了人体流、物体流、成对流三个流的分数，将人体流与物体流的分数加起来再将结果与成对流的分数相乘。

多流管道：
输入：通过FPN得到的边界框以及原始图像
输出：检测到的<人，动作，物体>三元组

多流管道组成：人体流、物体流、成对流三个独立的流
人体流、物体流：基于外观，利用CNN特征提取器产生关于被检测人体和物体边界框的分数
成对流：对人与物之间空间关系进行编码

人/物流
标准的多流结构在人体流与物体流中，对以实例为中心（边界框）的外观特征进行编码，但是忽略了相关的上下文信息，我们认为仅仅依靠边界框的外观特征并不充分，人与物体实例附近的上下文信息提供了有助于区分复杂的人物交互的补充信息。因此本文采用以下方法：
（对于人体流和物体流采用的是同样的结构，唯一的区别就是输入分别是人物边界框与物体边界框）

  • 引入了上下文感知的外观特征fapp，使用上下文信息丰富人体流和物体流。
  • fapp然后被送入到上下文注意力模块，注意力模块用于调整全局特征图A来获得可以调整的特征表示Fm。
  • Fm在注意力细化区进一步细化之后能够获得一个细化的调整之后的特征Fr。
  • Fr传到全局平均池化层获得进一步调整之后的向量fr。
  • 将fr与fapp连接起来生成对于动作的预测。在这里插入图片描述

（1）Contextually-Aware Appearance Features(上下文感知外观特征)

给出一个图片的CNN特征，以及一个人/物边界框，通过ROI pooling后接一个残差块和全局平均池化层提取标准的人/物外观特征。
尽管理论上，图像的CNN特征在构建标准的外观表示时应该覆盖整个图像空间，并且它们的感受野实际上也小很多。这意味着在这种标准外观特征构建中，忽略了更大的全局场景上下文先验，因此上下文感知外观模块用于捕获额外的上下文信息，由上下文聚合和局部编码块组成。

  • 上下文聚合块
    捕获更大的视野（field-of-view，FOV) 用于聚合实例外观特征的上下文信息，并且保留空间信息，可以通过全连接层或级联扩张卷积来捕获更大的视野，但是前者会压缩空间维度，后者会生成稀疏特征，因此上下文聚合模块使用一个之前用于语义分割的大卷积核（LK），我们是第一个将基于LK的上下文聚合模块引入到HOI检测问题中构建的上下文外观特征。
    输入：hwcin的图片的CNN特征（cin表示通道数，h,w表示图像的维度）
    输出：h×w×cout的上下文丰富的特征，通过对原始的CNN特征应用一个kk的LK
    在本文中，我们将KL进行分解，相比与原来的k    k的卷积，就能降低计算复杂度与参数的数量O(2/k)。

  • 局部编码块
    目前的HOI检测方法都是进行标准的ROI warping,其需要对被裁剪的ROI 区域进行最大池化操作。局部编码模块就是通过对相关的空间位置的位置信息进行编码在每个边界框ROI区域保留局部感知信息，我们基于上下文聚合块得到上下文化的CNN特征图对每个ROI区域的局部感知信息进行编码，并且同时使用了max-pooling与PSRoIAlign，PSRoIAlign通过双线性插值来减少PSRoIpooling带来的粗量化影响。下图显示了在输入特征图上基于PSRoIAlign进行局部编码的影响，最后局部编码模块的输出被展平，并被送入到全连接层以获得上下文外观特征fapp。
    在这里插入图片描述

（2）上下文注意力模块（contextual Attention）
由于context-aware appearance是基于外观和全局上下文信息进行编码，但是并不是所有的背景信息都对HOI检测有用，有的甚至会产生噪声，降低检测的性能。因此需要仔细识别出有用的上下文信息，以区分很难处理很微妙的人-物交互。对于给出的任务通常使用注意力机制突出非常重要的具有一定辨别力的特征。contextual Attention模块由自底向上的注意力以及注意力细化组件。

自底向上注意力组件
利用场景来关注相关特征，计算图像级的注意力需要生成基于注意力的边界框，自底向上的注意图使用对外观和背景进行编码的上下文感知特征fapp生成的。首先构建一个上下文注意图，然后将其用于调整输入CNN特征图。使用1×1的卷积将输入特征图f投影到512维空间（用A表示），然后计算被投影的全局特征A和上下文外观特征fapp之间的点乘来得到注意图，用于调节A。Fm表示被调整之后的特征
在这里插入图片描述
注意力细化模块
Fm的辨别能力进一步增强了注意力细化模块，它由空间和通道方面的注意力细化模块组成

  • 空间细化模块
    在Fm上使用一个1×1的卷积产生一个单通道的热图H，使用softmax进行规范化。再在规范后的热图H和Fm之间进行元素相乘，最终空间细化模块能够学到绝大多数相关的特征：
    在这里插入图片描述

  • 通道细化模块
    受到(SENet)网络的启发，首先在Fm上使用全局平均池化将全局空间信息压缩到通道描述符z上，然后激发阶段是有两个全连接层组成的栈，对输入z使用一个sigmoid激活函数，过程如下所示：
    在这里插入图片描述

z表示压缩操作的输出，W1,W2表示全连接操作，δ和σ分别表示Relu和activation操作。最后Catt调节了Satt进一步突出人物交互的区域，以获得一个细化的调节的特征表示Fr:
在这里插入图片描述

最后，特征Fr通过全局平均池化传递得到一个细化的调节的向量fr,然后将fapp与fr结合起来产生最终的特征表示x,然后x通过两个全连接层，分别从人体/物体流中对动作进行估计。给出一个边界框，最终的预测结果是通过将人体流量/物体流/成对流结合起来产生的。

实验

在V-COCO数据集上使用mAProle作为评估度量，在HOI-DET中使用mAP进行评估，HCVRD上报告的是50和100次召回中top-1和top-3的结果。

实验细节
使用ResrNet-50-FPN部署Detectron,获得预测的人物边界框，在训练师，选择分数高于0.8的人物边界框，和分数高于0.4的物体边界框，对于交互预测，使用在ImageNet上预训练的ResNet-50作为特征提取主干，初始学习率设置为0.001,权重衰减为0.0001,动量为0.9。

实验结果(V-COCO)

评估上下文感知外观模块与上下文注意力模块对实验结果的影响（加入之后性能提高了2.8%mAProle）
在这里插入图片描述
评估上下文信息对于提高多流网络结构的分类能力，通过设置不同的IOU阈值
在这里插入图片描述
使用不同的主干对于网络性能的提升
在这里插入图片描述
和先进的方法比较
在这里插入图片描述
比较使用此方法与iCAN获得的注意图
在这里插入图片描述
下图显示了单个人物交互与多个人共同与一个物体进行交互
在这里插入图片描述
在HICO-DET上比较不同方法的性能
在这里插入图片描述

结论

本文提出了一个HOI 检测的深度上下文注意力网络，通过学习人/物的上下文感知的外观特征，为了消除背景噪声，模型能够自动的选择对于人物交互相关的很重要的上下文信息，在v-COCO上性能达到47.3%。该方法结合和人/物的外观特征和空间信息，相较于之前的方法，利用了上下文信息，使得性能有了一定的提升

ycolourful
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
论文阅读：Interact as You Intend: Intention-Driven Human-Object Interaction Detection
Kivee的博客
10-09 1309
iHOI（submitted to IEEE Trans. on Multimedia） 文章   本文focus在检测social scene images上的human-object interactions（HOIs）。本文的一个出发点是human在与object进行interaction的时候，会根据他们的intention调整注意力和移动身体，因此本文的就在HOI检测中加入了human ...
Deep Contextual Attention for Human-Object Interaction Detection阅读笔记
qq_46805191的博客
03-25 460
前言 论文地址 笔记 这篇文章写的非常清楚，我们直奔主题就好，作者提出了一个基于上下文注意力机制的网络，这个网络可以通过学习contextually-aware appearance特征来利用上下文信息识别HOI的模型。并且这个提出的注意力机制模型还能自适应的选取相关的以实例为中心的上下文信息去增强可能包含HOI的图像区域。 直接来看整个框架 比较新的东西就是红色矩形标出的context-Aware Appearance和Contextual Attention。其他部分都是之前提到过的，特别是上边的
contextual Attention
qq_26815239的博客
10-25 3468
参考文献：http://jiahuiyu.com/deepfill/ 2.2. Attention Modeling 在深度卷积网络中，有许多关于学习空间注意力(spatial attention)的研究。这里我们选择回顾一些有代表性且与本文提出的contextual attention相关的工作。Jaderberg等人首先提出了一个参数空间注意模块叫做spatial transforme...
End-to-End Human Object Interaction Detection with HOI Transformer（CVPR2021）
qq_35623400的博客
07-13 307
这是CVPR2021年的一篇论文，主要是作者提出了一种端到端的HOI检测方法，基于Transformer结构。作者总结了以前的研究工作以及方法，基本上目前的HOI研究主要有三种：两阶段、一阶段、端到端。如图所示：两阶段方法：先进行目标检测，找到人和物体的框以及类标签，然后再通过使用multi-stream架构来预测人和物体的交互对。由于顺序和分离的两级架构，这些方法复杂度高且效率低。一阶段方法：引入了交互点的概念，同时对交互点以及边界框进行预测，然后再通过算法将交互点和对象对进行匹配。
[Deep Learning] Contextual Attention with Keras & Pytorch
LeYOUNGER的博客
04-18 846
Abstract 今天介绍一种十分基本的Attention应用，suppose我们现在有n个完全一样的entity，而我们已经知道这n个entity服从一种重要性分布，那么我们如何让深度网络能够自己知道哪些entity是比较重要的呢，两种十分常见的场景是NLP中sentence-level context的获取和CV中spatial-wise或channel-wise的加权，那么就是接下来要介绍的...
Optimizing the F-measure for Threshold-free Salient Object Detection (ICCV 2019)
01-20
Optimizing the F-measure for Threshold-free Salient Object Detection 本文的出发点主要是基于CNN的显著性目标检测主要依赖于对交叉熵损失的优化。然后被检测的显著性图经常通过F-measure进行衡量。这篇文章调查...
【论文笔记】：Learning Rich Features at High-Speed for Single-Shot Object Detection
01-06
Learning Rich Features at High-Speed for Single-Shot Object Detection 代码 &Summary 作者设计了一个one-stage检测框架，它结合了微调预训练模型和从零开始训练的优点。该框架包括一个预训练过的标准backbone...
Awesome-ICCV:ICCV2019最新录用情况
05-11
Awesome-ICCV2019 更新所有录用论文（已更新1000余篇ICCV2019论文） Last updated: 2021/01/25 【计算机视觉联盟】回复【ICCV2019】即可获得百度云所有论文下载链接 Update log 2019/07/26 * - 更新28篇IIAI录用论文...
Self-Guided-Network-for-Fast-Image-Denoising:ICCV 2019论文SGN的PyTorch实施
05-07
培训策略与论文相同。 您可以使用以下脚本对自己的数据进行训练（请注意，您需要修改数据集路径）： cd SGN python train.py or sh zyz.sh 测验 我使用ILSVRC2012验证集对4个NVIDIA TITAN Xp GPU进行了培训，并在1...
rsamatlab代码-RSA-for-object-detection-cpp-version:ICCV2017中“用于CNN中目标检测的递
05-25
rsa ...https://github.com/QiangXie/RSA-for-object-detection-cpp-version.git 2.制作一些目录 mkdir bin && mkdir third_party 3.使用matlab界面安装和编译CaffeMex_v2 cd third_party git clone ...
CVPR 2020 | 旷视研究院提出新型人-物交互检测框架，实现当前最佳
旷视开发者技术社区
06-05 1279
IEEE国际计算机视觉与模式识别会议 CVPR 2020 (IEEE Conference on Computer Vision and Pattern Recognition) 大会官...
论文笔记之PPDM（Parallel Point Detection and Matching for Real-time Human-Object Interaction Detection）
加油
07-13 4042
CVPR2020接收 论文地址：https://arxiv.org/pdf/1912.12898v1.pdf 1. 摘要 我们提出了一种单级人机交互（HOI）检测方法，该方法在单个Titan XP GPU上以37 fps的速度在HICO-DET数据集上优于现有的所有方法。这是第一种实时检测HOI的方法。 传统的HOI检测方法分为两个阶段，即人体目标建议生成和方案分类。它们的有效性和效率受到顺序和独立体系结构的限制。本文提出了一种并行点检测与匹配（PPDM）HOI检测框架。在PPDM中，HOI被定义为一个.
Relational Context Learning for Human-Object Interaction Detection
最新发布
weixin_46179086的博客
07-23 138
This work propose the multiplex relation network (MUREN) that performs rich context exchange between three decoder branches using unary, pairwise, and ternary relations of human, object, and interaction tokens.
论文阅读：Learning Human-Object Interactions by Graph Parsing Neural Networks
Kivee的博客
09-13 3189
GPNN(ECCV2018) 文章   用来检测human-object interaction。Paper说提出GPNN的目的是为了在HOI任务中显式地对空间、时间（视频）以及human-object关系进行利用。   complete HOI指的是所有的node之间都有link，node包括human和object，假设node特征为d_V维，edge的特征为d_E维（从两个box...
Contextual Attention Refinement Network forReal-Time Semantic Segmentation
qq_41997237的博客
11-24 326
摘要： 为了在分割精度和计算cost间平衡，提出了Contextual Attention Refinement Network（CARNet），通过注意力来指导低等级和高等级特征的融合，来提升精度。我们思考了语义信息，提出了Semantic ContextLoss（SCLoss）。 introduction 浅层提取到的特征包含更多的低等级细节，例如边缘信息。深层提取的特征包含更多的语义信息，例如带类别和属性的区域。尽管低等级特征包含更多的有用信息，但在最终推断的重要性是不等的。 ...
论文阅读：iCAN: Instance-Centric Attention Network for Human-Object Interaction Detection
Kivee的博客
09-13 1439
iCAN(BMVC2018) 文章   在InteractNet上做的改进,达到了 V-COCO 45.3%。 在由h或者o计算a的分数时，不止用它们本身的特征，还concat了context特征，contex特征则是根据intance产生的注意力在原图的特征上得到的。 同样需要判断h和o是否有关系，该方法是用空间的interaction pattern（neural-motif中有这个...
CVPR 2018 | Generative Image Inpainting with Contextual Attention 阅读笔记（翻译）
ybacm的博客
08-20 862
Generative Image Inpainting with Contextual Attention 作者：Jiahui Yu1^11 Zhe Lin2^22 Jimei Yang2^22 Xiaohui Shen2^22 Xin Lu2^22 Thomas S. Huang1^11 单位：1^11University of Illinois at Urbana-Champaign 2^22Adobe Research 会议：CVPR 2018 Abstract 最近的基于深度学习
论文阅读--Sensorless Freehand 3D Ultrasound Reconstruction via Deep Contextual Learning
weixin_41550329的博客
01-30 867
Sensorless Freehand 3D Ultrasound Reconstruction via Deep Contextual Learning 基于深度上下文学习的无传感器徒手三维超声重建 来源：MICCA 2020.9 作者：Hengtao Guo1, Sheng Xu （ Department of Biomedical Engineering and Center for Biotechnology and Interdisciplinary Studies, Rensselaer Pol
你知道2021-ICCV_TRANSREID_TRANSFORMER-BASED-OBJECT-RE-IDENTIFICATION这篇文章嘛
02-17
是的，作为一名大型语言模型，我对很多计算机科学领域的论文都有一定的了解，包括2021-ICCV_TRANSREID_TRANSFORMER-BASED-OBJECT-RE-IDENTIFICATION这篇文章。这是一篇关于基于Transformer的目标再识别方法的论文，...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值