论文阅读：PANet：A Context Based Predicate Association Network for Scene Graph Generation(ICME19)

已于 2022-02-19 12:53:25 修改
阅读量1.6k 收藏
点赞数
分类专栏： 机器学习 文章标签： 计算机视觉 深度学习 人工智能 场景图生成 scene graph
于 2022-02-19 12:47:36 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_40349484/article/details/123016855
版权

在这里插入图片描述
整个网络结构可以分成两部分，先说前半截：
在这里插入图片描述
深蓝、蓝、浅蓝三种颜色表示的特征分别为class embedding、spatial info、visual feature，cat后线性变换一下，得到特征V
在这里插入图片描述
之后再对整幅图像的所有主客体对计算出的V经过RNN，得到实例级别的上下文
在这里插入图片描述
整幅图像经过CNN提取的feature map线性变换一下，作为场景级别的上下文，然后与实例级别上下文相加得到融合上下文G，最终物体的类别由融合上下文得到在这里插入图片描述在这里插入图片描述

后半截：
在这里插入图片描述
红色箭头即为输入特征的计算方式：
主客体的上下文和union feature map的融合，得到U，即融合特征
在这里插入图片描述
然后把融合特征复制n份，分别与不同谓语的word embedding特征cat在一起，得到对齐特征R
这n种对齐特征输入RNN，得到n种谓语上下文特征
在这里插入图片描述
由于不同的谓语对最终的上下文影响不同，使用了注意力机制，最终的谓语上下文特征是这n种上下文的加权
在这里插入图片描述
谓语分类取决于谓语上下文特征：
在这里插入图片描述

------------------------------一些碎碎念-----------------------------
妈妈上班去了 要3月才能回来。
15551

糖豆豆今天也要努力鸭
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
深度学习论文：华为提出Gold-YOLO，高效实时目标检测器
10-30
深度学习论文：华为提出Gold-YOLO，高效实时目标检测器 知识点1：目标检测技术 目标检测是计算机视觉领域中一个基本任务，它旨在识别图像中的对象类别和位置。目标检测技术广泛应用于智能安全、自动驾驶、机器人...
mmocr:OpenMMLab文本检测和识别工具箱
04-08
介绍 MMOCR是基于PyTorch和mmdetection的开源工具箱，用于文本检测，文本识别以及相应的下游任务，包括关键信息提取。 它是项目的一部分。 master分支可与PyTorch 1.5+一起使用。 文档： : 。...
场景图生成论文阅读笔记 之 PANet:A Context Based Predicate Association Network for Scene Graph Generation
流觞时光
07-14 353
2019 ICME 《PANet: A Context Based Predicate Association Network for Scene Graph Generation》 文章目录《PANet: A Context Based Predicate Association Network for Scene Graph Generation》针对问题本文创新网络结构谓词预测（关系预测）实验结果 针对问题 以前的工作（IMP、MotifNet等等）利用了上下文信息，空间位置信息（LinkNet等），
PAnet 论文阅读笔记
read, note and comment papers
08-28 1247
Path Aggregation Network for Instance Segmentation 网络结构如下，在FPN的基础上加了一个bottom-up path augmention，也就是b所表示的结构，此结构缩短了从最浅层大尺度特征图到最终用于检测的小尺度特征图的距离，按FPN的结构，从最浅层大尺度特征图到结果的小尺度特征图要走红色这条线，经过很多层网络（因为走了一个resnet101或者resnet50），但是PAnet提供了绿色这条捷径，经过较少的层数。 此外提出了一个adative f
PANet论文阅读笔记
weixin_39558227的博客
12-15 1363
文章目录创新点对其他相似结构的结论重要观点PANetadaptive pooling 论文链接：Path Aggregation Network for Instance Segmentation 代码链接 创新点 1.通过自底向上的路径扩展，以精确的定位信号增强整个特征层次结构，从而缩短了低层与顶层特征之间的信息路径 2.提出了自适应特征池，它将特征网格(feature grid)和所有特征层...
实例分割--(PANet)Path Aggregation Network for Instance Segmentation
热门推荐
DFan的NoteBook
03-17 2万+
PANet Path Aggregation Network for Instance Segmentation 收录：CVPR2018(IEEE Conference on Computer Vision and Pattern Recognition) 相关： COCO2017/CityScapes instance segmentation 第一 论文提出了PANet，在Mask ...
wild magic3的Scene graph结构和Geometric State更新体系
编程开发资料库
02-16 77
刚看了《3D Game Engine Architecture》第3章“Scene graphs and renderers"的前两节，很精彩，暂且不拿wild magic 3和其他引擎相比较，只是作为读书笔记，记录一下书中的核心内容。 我觉得第3章是此书的核心部分，全部内容就是scene graph的更新和渲染，其中第一节描述了wild magic3中的scene graph架构，第二节重点讲...
Python-用于实例分段和对象检测的PANet
08-11
PANet for Instance Segmentation and Object Detection
mobilenet-yolov4-lite-pytorch:这是一个mobilenet-yolov4-lite的库，把yolov4主干网络修改成了mobilenet，修改了Panet的卷积组成，使参数量大幅度缩小
05-10
YOLOV4：You Only Look Once目标检测模型-修改mobilenet系列主干网络-在pytorch当中的实现 2021年2月8日更新： 加入letterbox_image的选项，关闭letterbox_image后网络的map一般可以得到提升。 ...
mobilenet-yolov4-lite-keras:这是一个mobilenet-yolov4-lite的库，把yolov4主干网络修改成了mobilenet，修改了Panet的卷积组成，使参数量大幅度缩小
05-10
YOLOV4：You Only Look Once目标检测模型-修改mobilenet系列主干网络-在Keras当中的实现 2021年2月8日更新： 加入letterbox_image的选项，关闭letterbox_image后网络的map一般可以得到提升。 目录 ...
论文阅读笔记《PANet: Few-Shot Image Semantic Segmentation with Prototype Alignment》
深视
06-16 2982
核心思想   本文提出一种基于原型网络的小样本语义分割算法(PANet)。该算法沿用了原型网络（Prototypical Network）中距离度量的思想，首先利用特征提取网络提取支持集和查询集图像的特征图，然后利用二元的分割图像对支持集图像做掩码操作，并计算得到每个类别对应的原型向量。接着计算查询集特征图中的每个像素与原型向量之间的距离，并利用softmax函数转化为概率。最后选择概率值最大的作为该像素点对应的类别。整个网络的结构如下图所示   首先，支持集图像和查询集图像分别经过两个共享权重的特征提取
PANet：Path Aggregation Network for Instance Segmentation论文阅读
xh_hit的博客
07-14 2945
概述本文出自于港中文和腾讯优图，是COCO2017 instance segmentation的冠军作品。作者针对Mask-RCNN做了部分改进，笔者认为其两大贡献在于：bottom-up path augmentation 以及adaptive feature pooling。Abstract：层与层之间信息的传播在深度学习网络中至关重要，低层特征包含精准的位置信息，因此本文提出了bottom-...
pytorch报错详解：RuntimeError: Trying to backward through the graph a second time
qq_40349484的博客
07-17 2万+
代码如下，当我尝试对y3进行第二次梯度计算时，报了这个错 import torch x = torch.tensor([1], dtype=torch.float32, requires_grad=True) y1 = x ** 2 y2 = x ** 3 y3 = y1 + y2 y3.backward() print(x.grad) x.grad.data.zero_() y3.backward() print(x.grad) 百度了一下问题原因和解决方法， 解决方法：在第一次backward中加一
论文阅读：Energy Based Learning for Scene Graph Generation(CVPR2021)
qq_40349484的博客
12-07 3141
论文阅读：Energy Based Learning for Scene Graph Generation(CVPR2021)
论文阅读：Explicit Knowledge Incorporation for Visual Reasoning(CVPR21)
qq_40349484的博客
03-01 2905
论文阅读：Explicit Knowledge Incorporation for Visual Reasoning(CVPR21)
论文阅读：Detecting Unseen Relations Using Analogies(ICCV2019)
qq_40349484的博客
01-29 2872
论文阅读：Detecting Unseen Relations Using Analogies(ICCV2019)
fatal error: cusparse.h: No such file or directory compilation terminated. error: command ‘/usr/loca
qq_40349484的博客
03-21 2610
写在前面： 我是用pycharm远程连接矩池云的GPU遇到了这个问题。前面安装包都很顺利，就是最后安装maskrcnn-benchmark的时候出问题了，一直在报错 fatal error: cusparse.h: No such file or directory compilation terminated. error: command ‘/usr/local/cuda-9.0/bin/nvcc’ failed with exit status 1 经过一番Google，总算解决了这个问题： 解决方法
论文阅读：LinkNet：Relational Embedding for Scene Graph(NIPS18)
qq_40349484的博客
01-31 2560
论文阅读：LinkNet：Relational Embedding for Scene Graph(NIPS18)
请展开说明这句话：PANet模块是一种多尺度特征融合结构，可以将不同层次的特征图进行聚合和提炼。
最新发布
05-31
PANet模块是一种用于图像分割任务的多尺度特征融合结构。在图像分割任务中，我们需要对图像中的每个像素进行分类，因此需要对图像中的不同尺度和不同层次的特征进行融合和提炼，以获取更好的图像特征表示。 PANet模块可以将不同尺度的特征图进行聚合和提炼，以便于在后续任务中使用。具体来说，PANet模块包括一个自上而下的路径和一个自下而上的路径。自上而下的路径负责从特征图的高层次提取语义信息，自下而上的路径则负责从特征图的低层次提取细节信息。两条路径在不同的层次进行特征融合，以获取更好的特征表示。 总之，PANet模块可以将不同层次和尺度的特征图进行融合和提炼，以提高图像分割任务的性能。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值