ycolourful-CSDN博客

本文的研究主题是人物交互检测(HOI),包含对人,物的位置定位,交互判断,它是视觉场景理解,视觉问答,行为识别中任务的一部分,该任务目前的挑战:(1)交互的通常以一种很细微的方式发生,同种交互在不同场景中可能存在很大的差异(2) 一个人可以与多个物体发生交互,一个物体也可以与多个人发生交互对人,物的边界框进行ROI pooling,后面再接一个residual,和GAP来提取人,物体的特征,对整个输入图像的特征图使用Residual和GAP 来提取上下文的特征,然后将这三个特征连接起来,并通过一个全连接

2022-06-21 15:43:11 636

原创 Pytorch使用清华源下载很慢

解决pytorch下载很慢问题

2022-06-07 19:18:05 1118 1

原创 Ubuntu 占用内存很大,很卡

发现nautilus占用内存很大,解决办法:sudo chown ubuntu:ubuntu ~/.cache/thumbnails # ubuntu就是当前的用户名参考连接:ubuntu nautilus 占用CPU很高_小页睡着了zZ的博客-CSDN博客

2022-05-31 14:05:34 1025

原创 ipynb文件在ubuntu系统上的运行

ipynb使用 Jupyter Notebook 来编写Python程序时的文件,在使用时,可以现转换为标准的.py的python文件1.下载安装pip install jupyter notebook进入到ipynb文件对应的目录将ipynb文件转化成python文件jupyter nbconvert --to script *.ipynb...

2022-05-18 09:21:44 2468

原创 ResNet网络的相关介绍

Resnet的相关简介

2022-05-17 16:52:49 830

原创 python2.7安装opencv-python很慢且总是失败

当直接使用pip安装opencv-python时,且总是报错,找了好久,发现是因为因为新版的opencv不再支持python2.7,解决办法为指定opencv版本pip install opencv-python==4.2.0.32最后终于安装成功参考:https://blog.csdn.net/weixin_44737922/article/details/109785726...

2022-05-09 20:52:10 1613 1

原创使用ResNet18输出每个模块单个特征图

import cv2import timeimport osimport matplotlib.pyplot as pltimport torchfrom torch import nnimport torchvision.models as modelsimport torchvision.transforms as transformsimport numpy as npsavepath='./picture' #设置输出特征图的路径if not os.path.exists(sa

2022-05-08 19:34:12 1029

原创 ICCV 2019 | (PMFNet)Pose-aware Multi-level Feature Network for Human ObjectInteraction Detection阅读笔记

目前人物交互在视觉上面临一个独特挑战,主要由于人物之间的差异性,多个共同的关系实例,关系种类之间微妙的视觉差异.为此本文提出了一个多级关系检测策略,利用人体的姿势线索来捕获关系的全局空间结构并将其作为注意力机制,在人的部位水平上动态地放大相关区域,本文提出了一个多分支网络在三个语义层面(交互上下文,目标特征,详细的语义部位线索)来学习姿势增强关系表示.论文地址:https://arxiv.org/pdf/1909.08453.pdf代码地址:https://github.com/bobwan19

2022-05-07 17:27:54 383

原创 CVPR 2019|Transferable Interactiveness Knowledge for Human-阅读笔记Interaction Detection

论文地址：https://arxiv.org/pdf/2101.10292.pdf代码地址： https://github.com/DirtyHarryLYL/Transferable-Interactiveness-Network本文为了探索人与物之间是否存在交互的互动性，这些互动性可以通过HOI数据集学习到，并且能够缩小不同HOI种类设置之间的差距，本文的核心思想四利用互动性网络从多个HOI数据集中学习常见的互动性知识，并在推理HOI分类之前进行交互抑制（Non-Interaction Suppr

2022-05-05 22:23:07 242

原创 ECCV 2018|Pairwise Body-Part Attention for Recognizing Human-Object Interactions 阅读笔记

在HOI中,通常的方法是将人的身体看作一个整体,使用一样的注意力,但是忽略了人与物体的交互是使用的身体的一些部位.因此,本文认为在HOI的识别中,不同的部位应该使用不同的注意力,并且由于我们的身体都是协同工作的,还需要进一步考虑不同部位之间的联系.本文提出了一个成对的身体部位注意力模型,它能够关注HOI识别中的关键部位,以及部位之间的联系.该模型介绍了一个基于特征选择的注意力方法以及一个能够捕获成对的身体部位之间联系的特征表示方案.

2022-04-22 11:39:48 2945

原创 ECCV 2018| Learning Human-Object Interactions by Graph Parsing Neural Networks阅读笔记

本文主要是为了解决图像和视频中的HOI任务，引入了图解析神经网络（GPNN），是一个利用结构知识的端到端的可分辨结构。给出一个场景，GPNN能够推断出一个解析图，并且包含（1）使用邻接矩阵表示的图结构（2）节点标签。当消息传递到网络中是，GPNN就会迭代计算出邻接矩阵与节点标签。在V-COCO、HICO-DET、CAD-120上评估该方法都取得了较好的效果。论文地址：http://cn.arxiv.org/abs/1808.07962代码地址：https://github.com/SiyuanQi/gp

2022-04-20 16:08:25 883

原创 ICCV 2019 |Deep Contextual Attention for Human-Object Interaction Detection论文阅读笔记

人物交互检测是视觉关系检测任务中非常重要的一类任务，对于场景的深入理解至关重要，现在很多方法将其分解为目标定位与交互识别，尽管取得了一定的进展，但是这些方法仅仅依赖于人和物体的外观而忽略掉有效的上下文信息，但是这些信息对于捕获他们之间的细微交互是非常重要的。本文提出了一个用于人物交互检测的上下文注意力框架，该方法通过学习实例的上下文感知外观特征来利用上下文信息，然后使用注意力模块自适应的选择与实例相关的上下文信息，以突出可能包含人物交互的图像区域。该方法在V-COCO上获得了4.4%的mAProle的提高.

2022-04-19 15:54:30 3514

原创目标检测算法之RCNN|Fast R-CNN|Faster R-CNN

1.RCNN算法流程：1.使用select search方法生成1K-2K个候选区域使用select search算法通过图像分割方法得到一些原始区域，然后使用合并策略将这些区域合并，得到一个层次化的区域结构，其中可能包含对应的物体。2.对每个候选区域，使用深度网络提取特征（图片分类网络）将2000个候选区域缩放到227个像素，接着将候选区域输入到CNN网络中获取4096维特征得到2000*4096维矩阵。3.将特征送到每一类的SVM分类器，判断是否属于该类4.使用回归器修正候选框的位置.

2022-04-17 22:04:57 1568

原创 CVPR 2018 |Detecting and Recognizing Human-Object Interactions阅读笔记

在视觉世界，计算机不仅需要识别出单个目标实例，同时还要识别出他们之间是如何交互的。人类往往是这种交互的核心，并且检测人物交互是一个重要的实践问题与科学问题，本文中，解决了具有挑战性的日常照片的<人，动作，物体>三元组的检测任务。提出了一个以人为中心的模型。假设一个人的外貌（姿势，着装，动作）是用于定位他们交互的对象的非常有效的线索，为了利用这种线索，模型学习根据被检测的人的外貌去预测目标物体位置的作用与密度。该模型可以联合学习来检测人类和物体，通过将这些预测融合起来。

2022-04-17 16:35:25 2158

原创 HOI BMVC2018| iCAN: Instance-Centric Attention Network for Human-Object Interaction Detection论文阅读笔记

近年来，对于检测和识别单个物体实例取得了飞速的发展，但是如果要理解一个场景中的情况，计算机需要识别出人与周围的物体是如何交互的，本文的核心思想是人体或物体实例的外观特征包含信息线索，这些图像相关的部分需要注意的线索以促进交互预测。为了利用这些线索，我们提出了以实例为中的注意力模块，这个模块学习根据每个实例的外观动态的突出图像的区域。这种基于注意力的网络使得我们能够有选择地聚合与HOI识别相关的特征。

2022-04-15 16:16:58 1181 1

原创 HOI经典论文WACV 2018 | Learning to Detect Human-Object Interactions 论文学习笔记

本文研究内容为在静态图像种检测人物交互关系。其被定义为预测一个人、物边界框，以及一个将他们联系起来的交互类标签。HOI检测是计算机视觉种一个基本的问题，因为它提供了被检测物体之间交互的语义信息。同时本文引入了HICO-DET，一个新的HOI检测的基准数据集，使用实例标注来扩充当前的HICO分类基准数据集。本文还提出了基于人物对区域的卷积神经网络（HO-RCNN），该方法的核心就是交互模式，它是一个能够描述两个边界框之间的空间关系的DNN输入。代码地址：http://www.umich.edu/∼ywc.

2022-04-14 14:33:35 1655

2022.5.16日汇报

GPNN HICO特征数据集

GPNN网络权重以及网络结构

2018HOI相关论文PPT

HOI人物交互PPT 啦啦啦啦啦啦

空空如也