论文阅读：PANet：A Context Based Predicate Association Network for Scene Graph Generation(ICME19)

已于 2022-02-19 12:53:25 修改
阅读量1.6k 收藏
点赞数
分类专栏： 机器学习 文章标签： 计算机视觉 深度学习 人工智能 场景图生成 scene graph
于 2022-02-19 12:47:36 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_40349484/article/details/123016855
版权

在这里插入图片描述
整个网络结构可以分成两部分，先说前半截：
在这里插入图片描述
深蓝、蓝、浅蓝三种颜色表示的特征分别为class embedding、spatial info、visual feature，cat后线性变换一下，得到特征V
在这里插入图片描述
之后再对整幅图像的所有主客体对计算出的V经过RNN，得到实例级别的上下文
在这里插入图片描述
整幅图像经过CNN提取的feature map线性变换一下，作为场景级别的上下文，然后与实例级别上下文相加得到融合上下文G，最终物体的类别由融合上下文得到在这里插入图片描述在这里插入图片描述

后半截：
在这里插入图片描述
红色箭头即为输入特征的计算方式：
主客体的上下文和union feature map的融合，得到U，即融合特征
在这里插入图片描述
然后把融合特征复制n份，分别与不同谓语的word embedding特征cat在一起，得到对齐特征R
这n种对齐特征输入RNN，得到n种谓语上下文特征
在这里插入图片描述
由于不同的谓语对最终的上下文影响不同，使用了注意力机制，最终的谓语上下文特征是这n种上下文的加权
在这里插入图片描述
谓语分类取决于谓语上下文特征：
在这里插入图片描述

------------------------------一些碎碎念-----------------------------
妈妈上班去了 要3月才能回来。
15551

【目标检测】【PANet】Path Aggregation Network for Instance Segmentation
weixin_44184852的博客
02-21 1210
信息在神经网络中的传播方式至关重要。在本文中，我们提出了路径聚合网络（PANet），旨在增强基于提议的实例分割框架中的信息流动。具体而言，我们通过自底向上的路径增强，在较低层中引入精确的定位信号，从而缩短了较低层与最顶层特征之间的信息路径。我们提出了自适应特征池化，将特征网格与所有特征层级连接起来，使每个层级中的有用信息能够直接传播到后续的提议子网络中。此外，我们还创建了一个互补分支，为每个提议捕捉不同的视角，以进一步提高掩码预测的准确性。
场景图生成论文阅读笔记 之 PANet:A Context Based Predicate Association Network for Scene Graph Generation
流觞时光
07-14 489
2019 ICME 《PANet: A Context Based Predicate Association Network for Scene Graph Generation》 文章目录《PANet: A Context Based Predicate Association Network for Scene Graph Generation》针对问题本文创新网络结构谓词预测（关系预测）实验结果 针对问题 以前的工作（IMP、MotifNet等等）利用了上下文信息，空间位置信息（LinkNet等），
[论文阅读]PANet(PAFPN)——用于实例分割的路径聚合网络
qq_53909832的博客
10-09 2万+
PANet（PAFPN）论文阅读
实例分割--(PANet)Path Aggregation Network for Instance Segmentation
DFan的NoteBook
03-17 2万+
PANet Path Aggregation Network for Instance Segmentation 收录：CVPR2018(IEEE Conference on Computer Vision and Pattern Recognition) 相关： COCO2017/CityScapes instance segmentation 第一 论文提出了PANet，在Mask ...
wild magic3的Scene graph结构和Geometric State更新体系
编程开发资料库
02-16 110
刚看了《3D Game Engine Architecture》第3章“Scene graphs and renderers"的前两节，很精彩，暂且不拿wild magic 3和其他引擎相比较，只是作为读书笔记，记录一下书中的核心内容。 我觉得第3章是此书的核心部分，全部内容就是scene graph的更新和渲染，其中第一节描述了wild magic3中的scene graph架构，第二节重点讲...
PAnet 论文阅读笔记
read, note and comment papers
08-28 1331
Path Aggregation Network for Instance Segmentation 网络结构如下，在FPN的基础上加了一个bottom-up path augmention，也就是b所表示的结构，此结构缩短了从最浅层大尺度特征图到最终用于检测的小尺度特征图的距离，按FPN的结构，从最浅层大尺度特征图到结果的小尺度特征图要走红色这条线，经过很多层网络（因为走了一个resnet101或者resnet50），但是PAnet提供了绿色这条捷径，经过较少的层数。 此外提出了一个adative f
PANet论文阅读笔记
weixin_39558227的博客
12-15 1544
文章目录创新点对其他相似结构的结论重要观点PANetadaptive pooling 论文链接：Path Aggregation Network for Instance Segmentation 代码链接 创新点 1.通过自底向上的路径扩展，以精确的定位信号增强整个特征层次结构，从而缩短了低层与顶层特征之间的信息路径 2.提出了自适应特征池，它将特征网格(feature grid)和所有特征层...
论文阅读笔记《PANet: Few-Shot Image Semantic Segmentation with Prototype Alignment》
深视
06-16 3347
核心思想   本文提出一种基于原型网络的小样本语义分割算法(PANet)。该算法沿用了原型网络（Prototypical Network）中距离度量的思想，首先利用特征提取网络提取支持集和查询集图像的特征图，然后利用二元的分割图像对支持集图像做掩码操作，并计算得到每个类别对应的原型向量。接着计算查询集特征图中的每个像素与原型向量之间的距离，并利用softmax函数转化为概率。最后选择概率值最大的作为该像素点对应的类别。整个网络的结构如下图所示   首先，支持集图像和查询集图像分别经过两个共享权重的特征提取
PANet：Path Aggregation Network for Instance Segmentation论文阅读
xh_hit的博客
07-14 3154
概述本文出自于港中文和腾讯优图，是COCO2017 instance segmentation的冠军作品。作者针对Mask-RCNN做了部分改进，笔者认为其两大贡献在于：bottom-up path augmentation 以及adaptive feature pooling。Abstract：层与层之间信息的传播在深度学习网络中至关重要，低层特征包含精准的位置信息，因此本文提出了bottom-...
PANet算法笔记
热门推荐
AI之路
07-29 4万+
论文：Path Aggregation Network for Instance Segmentation 论文链接：https://arxiv.org/abs/1803.01534 这篇是CVPR2018关于实例分割（instance segmentation）的文章，既是COCO2017实例分割比赛的冠军，也是目标检测比赛的第二名。 这篇文章提出的Path Aggregation Net...
pytorch报错详解：RuntimeError: Trying to backward through the graph a second time
qq_40349484的博客
07-17 2万+
代码如下，当我尝试对y3进行第二次梯度计算时，报了这个错 import torch x = torch.tensor([1], dtype=torch.float32, requires_grad=True) y1 = x ** 2 y2 = x ** 3 y3 = y1 + y2 y3.backward() print(x.grad) x.grad.data.zero_() y3.backward() print(x.grad) 百度了一下问题原因和解决方法， 解决方法：在第一次backward中加一
论文阅读：Energy Based Learning for Scene Graph Generation(CVPR2021)
qq_40349484的博客
12-07 3236
论文阅读：Energy Based Learning for Scene Graph Generation(CVPR2021)
fatal error: cusparse.h: No such file or directory compilation terminated. error: command ‘/usr/loca
qq_40349484的博客
03-21 3203
写在前面： 我是用pycharm远程连接矩池云的GPU遇到了这个问题。前面安装包都很顺利，就是最后安装maskrcnn-benchmark的时候出问题了，一直在报错 fatal error: cusparse.h: No such file or directory compilation terminated. error: command ‘/usr/local/cuda-9.0/bin/nvcc’ failed with exit status 1 经过一番Google，总算解决了这个问题： 解决方法
论文阅读：Explicit Knowledge Incorporation for Visual Reasoning(CVPR21)
qq_40349484的博客
03-01 2986
论文阅读：Explicit Knowledge Incorporation for Visual Reasoning(CVPR21)
论文阅读：Detecting Unseen Relations Using Analogies(ICCV2019)
qq_40349484的博客
01-29 2950
论文阅读：Detecting Unseen Relations Using Analogies(ICCV2019)
论文阅读：LinkNet：Relational Embedding for Scene Graph(NIPS18)
qq_40349484的博客
01-31 2638
论文阅读：LinkNet：Relational Embedding for Scene Graph(NIPS18)
论文阅读：Learning to Compose Dynamic Tree Structure for Visual Context(CVPR2019)
qq_40349484的博客
11-18 2627
因为我的方向是场景图，所以仅介绍这篇论文中有关场景图的内容，不涉及VQA。 (a)Feature Extraction 先对输入图像进行目标检测，每个proposal的视觉特征x包括以下特征： ROIAlign feature(2048维)，空间feature(8维)，论文这里说视觉特征不局限于bbox，实例分割特征和全景特征也可以。 (b)构建可学习的对称矩阵S （1）S的计算方法如下： f(xi,xj)称为对象相关性，g(·)称为依赖特定任务的特征 （q是任务特征，在VQA中是用GRU编码的问题特征
论文阅读：Representation Learning for Scene Graph Completion via Jointly Structural and VE(IJCAI2018)
qq_40349484的博客
11-27 2433
还是论文题目太长打不下了，最后的VE是visual embedding 网络简称RLSV，分为两个模块 1.视觉特征提取模块 一幅图像经过ResNet50提取全局特征，再从全局特征切割出物体特征，但是因为投影后的尺度不同，使用双线性插值把较小的局部特征放大，让两个物体的局部特征大小相同，即得到vh和vt 然后网络分为两支： 上面一支：vh和vt各自经过两次卷积，得到vph和vpt 下面一支：vh和vt拼接，经过一层卷积，再加入union box的空间特征，cat，再经过一层卷积，得到vpr 2.分层投影模
A-PANet论文
最新发布
03-16
### 关于A-PANet的论文下载与阅读 目前提到的内容主要围绕PANet展开，而未提及具体的“A-PANet”。如果“A-PANet”是指某种改进版或变体版本，则可能需要进一步确认其具体定义和来源。以下是关于如何获取和理解相关内容的方法： #### 1. **PANet的核心概念** PANet是一种基于Metric Learning思想设计的小样本语义分割网络[^1]。它通过引入自底向上的路径增强（Bottom-Up Path Augmentation），以及一种新的自适应特征池化机制（Adaptive Feature Pooling），显著提升了目标检测的效果[^2][^5]。 #### 2. **资源获取方法** 对于希望找到“A-PANet”的情况，可以尝试以下途径： - 如果“A-PANet”是特定领域中的扩展版本，建议查阅最新的学术会议论文集合（如CVPR、ICCV、ECCV等）。 - 使用百度网盘链接提供的资料进行验证是否包含相关信息[^3]。 - 查阅深度学习图像分割领域的综述文章，了解是否有针对“A-PANet”的讨论[^4]。 #### 3. **实验结果分析** 在COCO数据集上，PANet的表现优于其他主流的目标检测算法（如Mask R-CNN、FCIS、RetinaNet），尤其是在使用ResNeXt-101作为主干网络时，单模型性能达到了较高的水平（mAP约为45%)。这种优异表现得益于其独特的架构设计。 #### 4. **代码实现参考** 下面是一个简单的Python脚本用于加载预训练权重并测试PANet的功能（假设已安装必要的库）: ```python import torch from torchvision.models.detection import maskrcnn_resnet50_fpn, MaskRCNN_ResNet50_FPN_Weights def load_pananet_model(): weights = MaskRCNN_ResNet50_FPN_Weights.DEFAULT model = maskrcnn_resnet50_fpn(weights=weights, progress=True) model.eval() return model if __name__ == "__main__": device = torch.device('cuda') if torch.cuda.is_available() else torch.device('cpu') pananet = load_pananet_model().to(device) # Example input tensor (batch of images) example_input = [torch.rand(3, 600, 800).to(device)] with torch.no_grad(): predictions = pananet(example_input) print(predictions) ``` 上述代码展示了如何加载一个基础的目标检测模型，并对其进行推理操作。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值