Cascaded Human-Object Interaction Recognition论文阅读笔记

最新推荐文章于 2022-06-21 15:43:11 发布
最新推荐文章于 2022-06-21 15:43:11 发布
阅读量802 收藏 5
点赞数 1
分类专栏： HOI 文章标签： 人工智能 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_46805191/article/details/115727488
版权

笔记

  1. 现有的方法大都采用single-stage的推理线，考虑到任务的复杂性，作者提出了一种采用级联结构，多分支，从粗糙到细致的HOI理解。
  2. 如图1，作者的模型包含了一个实例定位网络和一个交互识别网络。这两个网络都以级联的形式工作，通过实例定位网络，一步一步的增强选择的实例，proposal的质量提高，对于接下来的相关表示也是非常有用的。而且也可以实现更好的动作预测。
    在这里插入图片描述
  3. 如图2可以看出两种模式的区别，a表示的是single stage方法，b是作者提出的级联结构，这种结构不仅可以解决HOI检测的问题，还可以用于图像分割。
    在这里插入图片描述
  4. 图3a是整个网络的pipeline，输入一个图片，首先通过backbone提取特征，然后通过L定位proposal，然后配对采样， 再通过R识别动词。图b是R中的RCM模块。
    在这里插入图片描述
  5. 首先是L部分，即Instance Localization Network:这部分的输出是一个人物区域的集合，有许多标定的人物框和物体框，这些框经过采样再送入下一个模块R进行verb classific
最低0.47元/天 解锁文章
xingaoli
关注
专栏目录
Deeper cascaded peak-piloted network for weak expression recognition论文笔记
missyang99的博客
03-08 583
1、三个问题 1.解决什么问题？ 人脸的微表请识别 2.用了什么方法解决？ （1）DCPN（Deeper Cascaded Peak-piloted Network）使用了一个更深入、更大的网络，可以更精确地捕捉表达式的细微细节，从而在弱表达式识别中显示出更好的性能。 （2）防止扩大的网络架构过度配置，提出了一种级联微调的新的集成训练方法。 3.效果如何？ ...
Learning to Detect Human-Object Interactions
qq_40523516的博客
06-02 661
WACV2017 Author:Yu-Wei Chao 摘要 我们为HOI检测提出一个新的benchmark，HICO-DET。提出一个新模型HO-RCNN。模型的核心是Interaction Pattern，一种描述两个边界框之间空间关系的新型DNN输入。 1.介绍 本文主要有两个贡献：（1）提出HICO-DET数据集，它提供了超过15w个标注的人-对象对，跨越在HICO中的600个类别，即平均每个类别有250个实例。（2）提出了HO-RCNN，这是一种基于DNN的可以将检测单个bbox扩展到一对
Detecting and Recognizing Human-Object Interactions
10-12
要理解视觉世界，机器不仅必须识别单个目标，还必须识别它们是如何交互的。本文提出了一种新的模型，挑战日常照片中检测⟨人类、动词、目标⟩三元组的任务。
图像理解--Detecting and Recognizing Human-Object Interactions
AI小作坊 的博客
06-05 5335
Detecting and Recognizing Human-Object Interactions https://arxiv.org/abs/1704.07333大牛们已经从图像的检测分割向图像理解的研究方向过度了！本文主要关注图像中的 人 和 物体的关系检测和识别，这种关系可以用一个三元素
【阅读笔记】Zero-Shot Human-Object Interaction Recognition via Affordance Graphs
qq_43218033的博客
04-10 1828
【阅读笔记】Zero-Shot Human-Object Interaction Recognition via Affordance Graphs 目录【阅读笔记】Zero-Shot Human-Object Interaction Recognition via Affordance GraphsAbstractIntroductionMethodAffordance GraphModel总结 Abstract 本文提出零样本人物交互（Zero-Shot Human- Object Interact
Paper Reading: Detecting and Recognizing Human-Object Interactions
weixin_38328084的博客
05-06 393
Abstract Introduction 得益于深度学习的特征表征方法，基于视觉信号对单独个体进行识别的工作有了很大的提升，如物体检测和人的动作姿态估计。但是，识别单一个体只是机器进行视觉世界理解的一小步，对个体间关系的识别对图像理解尤为重要。本文中我们聚焦于人-物交互关系的研究。 人-物交互关系识别的任务可以理解成是对<人，动作，物品>三元组合的检测任务，该任务具有很大的应用价值和...
论文Cascaded Human-Object Interaction Recognition代码
10-19
论文Cascaded Human-Object Interaction Recognition论文以及代码
Generation of cascaded four-wave-mixing with graphene-coated microfiber
02-23
based hybrid waveguide structure formed by wrapping monolayer graphene around a microfiber with length of several millimeters is pumped by a nanosecond laser at ～1550 nm, and multiorder cascaded four...
matlab精度检验代码-chapter7-Learning-Cascaded-pytorch:实践笔记
05-22
crowdcount-cascaded-mtl-master.zip 4.pip install -i https://pypi.tuna.tsinghua.edu.cn/simple torch torchvision 5.pip install decorator cloudpickle>=0.2.1 dask[array]>=1.0.0 matplotlib>=2.0.0
Detecing and Recognizing Human-Object Interactions
03-12
Kaiming He Facebook AI Research Detecting and Recognition Human-Object Interactions
ECCV 2018| Learning Human-Object Interactions by Graph Parsing Neural Networks阅读笔记
weixin_59340037的博客
04-20 947
本文主要是为了解决图像和视频中的HOI任务，引入了图解析神经网络（GPNN），是一个利用结构知识的端到端的可分辨结构。给出一个场景，GPNN能够推断出一个解析图，并且包含（1）使用邻接矩阵表示的图结构（2）节点标签。当消息传递到网络中是，GPNN就会迭代计算出邻接矩阵与节点标签。在V-COCO、HICO-DET、CAD-120上评估该方法都取得了较好的效果。 论文地址：http://cn.arxiv.org/abs/1808.07962 代码地址：https://github.com/SiyuanQi/gp
DRG: Dual Relation Graph for Human-Object Interaction Detection阅读笔记
qq_46805191的博客
04-09 604
笔记 这篇文章作者提出的模型仍然是利用了图结构的一种模型，和之前的图结构的区别在于这篇文章中作者提出的模型并不是dense的，他将原来的图分成了两个子图。并且在特征编码的时候也加入了language方面的特征。注意这篇文章的标题DRG只是本文提出的整个模型中的一个模块。 如图2可以看到，现有的方法要么像b一样仅仅依赖于预测每一个HO对，从而忽略了丰富的上下文细节，要么就是比较dense的连接图。dense的问题在于会使得学习的推理的难度比较大。作者提出的module利用两个稀疏的subgraph，即利用
使用no_frills_hoi_det检测其它数据集中的Human Object Interaction的过程
YoJayC的博客
07-29 424
no_frills_hoi_det主要由三个部分组成 第一个部分对输入图片x中包含人类的每个物体生成一组候选框 第二个部分对x运行OpenPose来得到骨骼关键点 第三个部分用提出的分解模型对HOI候选对进行排序 no_frills_hoi_det的代码中根据anno_list（anno_list是在Process HICO-Det files步骤中生成的）来生成对应的images_in_out.json文件，主要的代码片段如下 images_in_out = [None]*len(anno
论文阅读：Compositional Learning for Human Object Interaction
Kivee的博客
10-23 3130
Compositional Learning for HOI（ECCV 2018） 文章   作者的的想法是因为我们很难搜集到所有组合之间的interaction，所以必须会面临的问题就是要识别在数据集中从未见到过的情况，也就是HOI的zero shot learning。作者认为人的动作是具有compositional的性质的，而且人可以用不同的物体和工具达到类似的目的。比如我们可以用hamme...
CVPR2020 | VSGNet:Spatial Attention Network for Detecting Human Object Interactions Using G
weixin_59340037的博客
06-21 672
本文的研究主题是人物交互检测(HOI),包含对人,物的位置定位,交互判断,它是视觉场景理解,视觉问答,行为识别中任务的一部分,该任务目前的挑战: (1)交互的通常以一种很细微的方式发生,同种交互在不同场景中可能存在很大的差异 (2) 一个人可以与多个物体发生交互,一个物体也可以与多个人发生交互对人,物的边界框进行ROI pooling,后面再接一个residual,和GAP来提取人,物体的特征,对整个输入图像的特征图使用Residual和GAP 来提取上下文的特征,然后将这三个特征连接起来,并通过一个全连接
人物交互（human object interaction）论文汇总-2018年
加油
11-08 5402
1. Detecting and Recognizing Human-Object Interactions 1.1 总述 中心思想是以人为中心。假设是一个人的外表信息（姿态、衣服、动作等）是确定与他们交互的物体的有力线索（人的外表信息对于定位参与交互的物体可能处于何处是很有帮助的，根据此可以进一步缩小参与交互的目标物体的搜索空间）。为了利用这个线索，本文的模型学习了根据检测到的人和人的外表信息来预测特定动作的物体位置的密度。 1.2 网络结构 主要分为三个分支：目标检测分支、人为中心分支、交互分支。其中
人物交互（human object interaction）论文汇总-2019年
加油
11-08 3266
1. Relation Parsing Neural Network for Human-Object Interaction Detection 1.1 总述 提出一种关系解析神经网络RPNN，由两部分组成：物体-身体部位图和人体-身体部位图，前者捕获身体部位与周围物体的关系，后者推断人体与身体部位的关系，并组合身体部位上下文信息以预测动作。这两个图由动作传递机制关联。 总的来说，网络基于人的特征预测动作发生的位置（参与交互物体的位置）的密度；基于物体特征预测每个动作的物体与人之间交互的概率。 1.2 网
人物交互（human object interaction）论文汇总-2020年
热门推荐
加油
11-08 1万+
1. Learning Human-Object Interaction Detection using Interaction Points 1.1 总述 大多数现有的HOI检测方法都是以实例为中心的，其中基于外观特征和粗糙的空间信息来预测所有可能的人-物体之间的交互。作者认为，仅外观特征不足以捕获复杂的人与物体的相互作用。因此，在本文中，作者提出了一种新颖的全卷积方法，该方法直接检测人与物体之间的相互作用。 网络会预测交互点，这些交互点可以直接对交互进行定位和分类。与密集预测的交互向量配对，这些交互与人
cascaded channel pruning using hierarchical self-distillation
最新发布
04-28
Cascaded channel pruning using hierarchical self-distillation是一种基于级联的通道剪枝方法，其使用层次自蒸馏来提高压缩效果。层次自蒸馏是一种通过将低分辨率输出的信息融合到高分辨率输出中来提高模型性能的...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值