Pose-aware Multi-level Feature Network for Human Object Interaction Detection

最新推荐文章于 2022-05-07 17:27:54 发布
最新推荐文章于 2022-05-07 17:27:54 发布
阅读量600 收藏 1
点赞数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u010848594/article/details/105631013
版权

解决的问题：HOI(Human Object Interaction，人物交互关系预测)

输入一张图片，预测(人，物，动作)三元组

公开数据集：

HICO-DET

包含47,774张图片，包含了600类人物交互行为(使用verb-object对)，像骑车，骑马，持电话

117种常见行为，像骑，喂，...,无交互行为标签

80种常见物体，像自行车，手机等标签

 

朴素的想法：

对于一张图片先做目标检测，得到人体和物体所在区域，然后再提取①人②物③人∩物区域的特征，进行分类

但是作者觉得这样的做法只能得到整体的一些特征，模型不容易学到一些局部特征，于是我们就使用人体关键点来作为指导，关键点所在区域当成attention mask，这样可以得到更多的局部特征

Pipeline

上述即为整体流程，backbone用来提特征，在得到特征图的基础上预测人物框，人体关键点，然后将相应的特征送到需要的模块中，做分类，即可得到结果

创新点：

1.使用Pose作指导，起到attention map的作用

2.pose可以起到全局和局部指导的作用

 

BUAA_小胡
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Detecting and Recognizing Human-Object Interactions
10-12
要理解视觉世界，机器不仅必须识别单个目标，还必须识别它们是如何交互的。本文提出了一种新的模型，挑战日常照片中检测⟨人类、动词、目标⟩三元组的任务。
论文笔记之Pose-aware Multi-level Feature Network for Human Object Interaction Detection
加油
06-20 802
利用姿态线索来放大人体的有关局部区域来获得细粒度的信息 被ICCV2019接收 论文地址：https://arxiv.org/pdf/1909.08453 1.摘要 推理人机交互是以人为中心的场景理解中的一个核心问题，由于人类对象配置的巨大变化、多个共生关系实例以及关系类别之间细微的视觉差异，检测这种关系对视觉系统提出了独特的挑战。为了解决这些问题，我们提出了一种多层次的关系检测策略，该策略利用人的姿势线索来捕捉关系的全局空间结构，并作为一种注意机制来动态地放大人的局部相关区域。具体来说，我们开发了一个.
PMFNet——Pose-aware Multi-level Feature Network for Human Object Interaction Detection
乐亦亦乐的博客
09-25 581
本文提出了一种新颖的人-物体交互检测模型，在多个数据集上该方法展现出大大优于现有最佳方法的性能。在人-物体交互检测任务中，人与物体交互方式的多样性及交互场景的复杂性，相比于传统的视觉任务存在更多挑战。研究人员提出了一种多层级（multi-level）的交互关系识别策略，包括交互域、物体、人体语义三个层级。 具体来说，本文提出了一种多分枝网络结构的模型，该模型利用人体姿态信息，通过基于注意力机制动态放大（Zoom-in）交互关系相关人体语义区域以增强该区域的特征，并在此基础上对全局特征进行融合，从而进一步提
ICCV 2019 | (PMFNet)Pose-aware Multi-level Feature Network for Human ObjectInteraction Detection阅读笔记
weixin_59340037的博客
05-07 381
​ 目前人物交互在视觉上面临一个独特挑战,主要由于人物之间的差异性,多个共同的关系实例,关系种类之间微妙的视觉差异.为此本文提出了一个多级关系检测策略,利用人体的姿势线索来捕获关系的全局空间结构并将其作为注意力机制,在人的部位水平上动态地放大相关区域,本文提出了一个多分支网络在三个语义层面(交互上下文,目标特征,详细的语义部位线索)来学习姿势增强关系表示. 论文地址:https://arxiv.org/pdf/1909.08453.pdf 代码地址:https://github.com/bobwan19
READING NOTE: Learning to Detect Human-Object Interactions
joshua_1988
02-28 1152
TITLE: Learning to Detect Human-Object Interactions
Feature-aware Cooperative Relaying for Multi-flow Wireless Sensor Network
02-09
Addressing the energy efficiency in... To address this issue, in terms of the delay sensitivity imposed on the deployed flows, a feature-aware cooperative relay selection scheme is developed by comprehen
Adversarial PoseNet: A Structure-aware Convolutional Network for Human Pose Estimation(2017)
01-06
1、提出a novel structure-aware convolutional network，能够在深度网络的训练过程中隐式地考虑先验知识（人体关节的几何约束关系）； 2、Generator预测的pose和occlusion heatmaps输入到discriminator预测与真实...
An Aware-Scheduling Security Architecture with Priority-Equal Multi-Controller for SDN
02-08
For example, malicious flow rules may lead to system disorder by introducing unexpected flow entries. In this paper, we propose Mcad-SA, an aware decision-making security architecture with multiple ...
Object detection via a multi-region & semantic segmentation-aware CNN model
05-14
卷积神经网络进行图像识别的一种方法，这种模型有多个输入部分
Scale-aware Automatic Augmentation for Object Detection.pdf
11-21
Scale-aware Automatic Augmentation for Object Detection
论文研究-Multilevel Feature Network for Visual Sentiment Classification.pdf
08-16
图像情感识别的多级特征网络，李明昊，杨娟，视觉情感分类是情感图像内容分析（AICA）的研究热点之一。目前，大多数卷积神经网络方法都只利用卷积神经网络的最后一层输出，这��
论文阅读：Interact as You Intend: Intention-Driven Human-Object Interaction Detection
Kivee的博客
10-09 1313
iHOI（submitted to IEEE Trans. on Multimedia） 文章   本文focus在检测social scene images上的human-object interactions（HOIs）。本文的一个出发点是human在与object进行interaction的时候，会根据他们的intention调整注意力和移动身体，因此本文的就在HOI检测中加入了human ...
检测技术再进化：人物交互检测，基于多层次条件网络的方法（ICMR2020）
我爱计算机视觉
01-11 1252
关注公众号，发现CV技术之美Human Object Interaction Detection via Multi-level Conditioned Network基于多层次条件网络的...
【Multilevel networks】
菜狗的博客
07-26 668
多水平统计分析模型(multilevelstatistical models)，是用于处理多水平数据(multilevel data)的一类模型的总称。在不同书籍或文献中，由于因变量类型或研究目等的不同，常被冠以不同的名称，如随机效应模型、随机系数模型、混合效应模型、广义线性混合效应模型等。
论文笔记之Detecting Human-Object Interaction via Fabricated Compositional Learning
加油
04-27 1047
解决HOI的长尾分布问题，通过引入一个物体制造器来生成有效的物体表示，然后将动词与虚构的物体进行组合以组成新的HOI样本，这样能够生成稀有和unseen类别的大规模HOI样本，从而减轻长尾问题。 CVPR2021 论文地址：https://arxiv.org/abs/2103.08214 代码地址：https://github.com/zhihou7/HOI-CL 1. 总述 从图像/视频中推断人与物体之间的关系的人物交互（HOI）检测是了解高级场景的一项基本任务。 但是，HOI检测通常会遇到交互类别的.
阅读小结Improving Person Re-identification via Pose-aware Multi-shot Matching
郑哲东的博客
07-09 2314
Authors:Yeong-Jun Cho and Kuk-Jin Yoon  What： Person Reid 识别多个摄像头下的行人是否为同一人 Motion： 由于camera viewpoint 和 person pose带来的外形巨大改变，故提出了 Pose-aware Multi-shot Matching (PaMM)  分析这两种问题 （由于多个摄像头的设置
Multi-level Attention Networks for Visual Question Answering阅读笔记
qq_38343151的博客
10-28 889
Multi-level Attention Networks 这个模型可以同时提取高级语义信息和空间信息，模型框架如下所示： 该模型分为三个部分，分别是Semantic Attention、Context-aware Visual Attention、Joint Attention Learning。 Semantic Attention 语义注意的工作是从图像中挖掘重要的概念来回答问...
Polysemy Deciphering Network for Human-Object Interaction Detection论文阅读笔记
qq_46805191的博客
04-09 417
笔记 这篇文章作者提出现有的模型没有考虑一词多义的情况，即认为同一个动词的视觉特征差不多，然而实际情况下同一个动词的视觉特征可能会有特别大的变化，本文作者基于此提出了一系列策略和PD-Net模型，来克服这种现象。 图2是将同一个图片的视觉特征提取出来之后，本来是做多标签分类任务，但是这里作者将其转化为多个二分类任务，而且还加入了language特征。 图3就是整个网络的概述，给定一个image，先通过faster-rcnn提取proposal，每一个human和object两两配对，作为动词分类的候选
iCAN: Instance-Centric Attention Network for Human-Object Interaction Detection 论文阅读笔记
sunshine__0411的博客
10-08 2629
摘要 本文研究场景图中人-物交互问题。其核心思想是人或物体实例的外观包含指示线索，利用这些信息可以注意到图像中可以促进交互预测的部分。为了利用这些线索，研究者提出了一个以实例为中心的注意力模块，学习根据每个实例的外观动态突出显示图像中的区域。这种基于注意力的网络允许研究者选择性地聚合与识别 HOI相关的特征。   一、引言   HOI：人-物交互检测，旨在定位人、物体并识别人与物体之...
cagnet: content-aware guidance for salient object detection
最新发布
09-21
Cagnet（Content-Aware Guidance for Salient Object Detection）是一种针对显著对象检测的算法。该算法的目标是在图像中自动检测出最具显著性的对象区域。 Cagnet算法的核心思想是结合了内容感知的引导和视觉特征...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值