场景图生成论文阅读笔记 之 PCPL

最新推荐文章于 2023-03-30 16:30:35 发布
最新推荐文章于 2023-03-30 16:30:35 发布
阅读量643 收藏 3
点赞数
分类专栏： 论文阅读笔记 文章标签： 深度学习 计算机视觉 场景图生成 视觉理解
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_38574198/article/details/120438460
版权

PCPL（predicate-correlation perception learning scheme）阅读笔记
(谓词联系感知学习策略)

目录

针对问题

VG数据集长久以来的难题：谓词类的长尾效应过于严重导致结果很容易预测为头部类，并且谓词类之间并不是相互独立的，在很多场景下会是包含等等的关系，因此可以利用谓词与谓词之间的关联信息。

作者提到：当前比较普遍的重调节策略(re-banlance strategy, 例如重采样，调节权重等) 会导致模型在尾部数据过拟合。作者认为这是因为重调整策略对于谓词的出现频率比较敏感，而对于谓词之间的联系不敏感，但是对于场景图生成来说这些谓词之间的关系反而更重要。
因此本文提出了PCPL，目的是利用不同谓词类别之间的联系来自适应寻找loss权重

通过实验对比发现在使用re-weight策略时，谓词与谓词之间弱关联时，re-banlance会提升尾部类的指标并且对头部类影响较小；但是如果谓词与谓词之间存在强关联时，会导致在尾部数据过拟合，即尾部类的指标提升但是会导致与其有关联的头部类指标降低
在这里插入图片描述

论文流程

要衡量类与类之间的距离，本文中使用类中心的间距作为衡量类相关程度的指标，因为一般来说关联程度大的类之间的距离会更近一点。

不同场景下谓词类与谓词类之间的关联程度不一定相同，即谓词类之间的关联程度不是一成不变的，所以这里作者在计算类中心时使用的是可学习方式，并不是直接对整个数据集进行聚类统计（这种方式下类与类之间的关联程度是固定的）

论文流程示意图如下所示：
① 与其他论文一样首先使用faster RCNN检测出proposals
② 对每个proposal的位置进行编码，与视觉特征一起输入到上下文信息编码模块中
③ 在上下文信息编码模块中使用自注意力机制获取上下文特征
④ 对每个proposal预测类别标签，并对标签进行编码
⑤ 上下文特征与标签编码进行融合得到关系谓词的视觉表示特征向量（Relationship Representations）
⑥ 为每一类关系谓词的类中心初始化一个表示向量（文中未说明初始化方式）
⑦ 将relationship representations输入到节点更新网络(对应前面提到的可学习方式计算类中心)更新节点特征
⑧ 计算各类中心的间距e,然后使用所示的公式计算对应的权重

在这里插入图片描述

文中提到在PCPL方法中尽管强相关的谓词类被赋予的权重比较小，但是他们能够从其它相关类受益；与此同时其它类(弱相关的谓词等)的损失比重增大，这也有利于提升性能（感觉解释的有些牵强，为什么权重小了还会有提升，或者说关联类是怎么影响的）

实验结果

在这里插入图片描述

流觞时光
关注
  • 0
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
【场景图生成】Unbiased Scene Graph Generation from Biased Training
weixin_44574941的博客
04-12 2048
【场景图生成】Unbiased Scene Graph Generation from Biased Training
计算机相关专业零基础论文画图详细教程（避免掉坑教程）
热门推荐
loveCC_orange的博客
01-21 1万+
今天这篇博客主要从画图的角度来说一下，论文里面的图怎么画才比较有逼格，怎么从零开始去画一张符合论文规范的比较漂亮的图，详细教程在这里！
场景图生成综述
最新发布
Mr___WQ的博客
03-30 6013
场景图是对场景的结构化表示，可以清晰地表达场景中的对象、属性和对象之间的关系。随着计算机视觉技术的不断发展，人们不再满足于简单地检测和识别图像中的物体;相反，人们期待对视觉场景有更高层次的理解和推理。例如，给定一张图像，我们不仅要检测和识别图像中的物体，还要了解物体之间的关系(视觉关系检测)，并根据图像内容生成文本描述(图像字幕)。或者，我们可能希望机器告诉我们图像中的小女孩在做什么(视觉问答(VQA))，甚至从图像中删除狗并找到类似的图像(图像编辑和检索)，等等。
场景图生成（scene graph generation），github/yrcong/RelTR 代码运行
tt1724369779的博客
04-26 1788
这周为了跑通yrcong/RelTR: RelTR: Relation Transformer for Scene Graph Generation (github.com)配置环境花了好长时间。 从github下载项目，按照网站要求： git clone https://github.com/yrcong/RelTR.git cd RelTR 之后下载anaconda配置新的环境，记住一定要按照网站要求设置python=3.6，我一开始运行python=3.7一直无法成功。下载需要的包。
论文学习-Exploiting Long-Term Dependencies for Generating Dynamic Scene GraphsExploiting Long-Term Depe
weixin_53638141的博客
09-12 770
【论文学习】自己在读这篇论文中整理的一点点笔记
PCPL:邮政通信编程语言
07-06
邮政通信编程语言PCPL 是一个例子。 PCPL 也是的 Turing Tarpit 条目。
论文阅读-场景图谱-图谱生成-Graph R-CNN for Scene Graph Generation
古承风的博客
01-13 962
文章目录摘要引言 Yang J, Lu J, Lee S等. Graph R-CNN for Scene Graph Generation[J]. Lecture Notes in Computer Science (including subseries Lecture Notes in Artificial Intelligence and Lecture Notes in Bioinformatics), 2018, 11205 LNCS: 690–706. 摘要 一种新的场景图谱生成模型Gra
Scene Graph（视觉关系场景图检测）
nakaizura
05-02 1万+
Scene Graph Neural Motifs: Scene Graph Parsing with Global Context 开山经典之作。 motif指场景图中重复出现的子结构。引入relation priors（主语和宾语确定，relation很容易确定，并且类似的motif会大量出现）后，直接通过统计的方法，不需要图片信息就能得到较高的准确率。 文中的方法先将图片做proposal...
2020 ICML Oral 论文
u014546828的博客
11-30 3611
Oral Papers 38 -ShapeCaptioner: Generative Caption Network for 3D Shapes by Learning a Mapping from Parts Detected in Multiple Views to Sentences Zhizhong Han (University of Maryland, College Park); Chao Chen (Tsinghua University); Yu-Shen Liu (Tsinghua.
一个场景图生成模型
冬炫的博客
08-20 854
github优秀代码链接：https://github.com/deeplab-ai/atr-net
场景图生成论文阅读笔记 之 IMP(Scene Graph Generation by Iterative Message Passing)
流觞时光
07-08 545
IMP 2017CVPR 《Scene Graph Generation by Iterative Message Passing》 针对问题 前人的工作大多是local prediction，未利用丰富的上下文信息，因此会造成关系类别预测出现模糊和歧义 图的表示 把node(目标)和各个node之间的edge(边)都视为节点，即node节点和edge节点，因为edge也需要具备状态和更新状态，所以把edge也视为节点。 因此每个node节点直接相连的只有edge节点，反之同理，与edge节点直接相连的的只
【CVPR 2018】Image Generation from Scene Graphs从场景图中生成图像 [文本转图]
luolan9611的博客
04-25 1万+
这是李飞飞团队2018年被CVPR接收的一篇文章。PDF下载链接为：https://arxiv.org/abs/1804.01622 （2018.7.6添加）Github代码下载链接：https://github.com/google/sg2im 在这里放上我CSDN的下载链接： https://download.csdn.net/download/luolan9611/10373565 ...
论文阅读-场景图谱-图谱生成：Factorizable Net: An Efficient Subgraph-based Framework for Scene Graph Generation
古承风的博客
01-13 665
文章目录摘要引言 [1] Li Y, Ouyang W, Zhou B等. Factorizable Net: An Efficient Subgraph-Based Framework for Scene Graph Generation[J]. Lecture Notes in Computer Science (including subseries Lecture Notes in Artificial Intelligence and Lecture Notes in Bioinformatic
场景图生成论文阅读笔记 之 Neural Motifs
流觞时光
07-09 1874
CVPR2018 《Neural Motifs: Scene Graph Parsing with Global Context》 文章目录《Neural Motifs: Scene Graph Parsing with Global Context》针对问题问题分析Motifs概念文章创新网络模型实验结果 针对问题 ① 很多前人的工作是local prediction，未利用上下文信息（这一点与IMP针对的问题相同） ② 作者分析了VG数据集，发现具有很大的长尾效应（关系检测数据集的通病），并且很多关系类
CVPR 2019 | 基于场景图信息的图像描述生成方法
a609640147的博客
05-05 3989
在image captioning任务中，常规的encoder-decoder框架都是利用检测网络，如CNN提取特征，然后直接送到decoder端进行解码生成句子。文章《Auto-Encoding Scene Graphs for Image Captioning》引入了场景图模型，并利用自己提出的SGAE模型，对共享字典在文本语料库上进行预训练，然后在caption模型中作为初始化，目的是引入语...
CVPR 2022 | 南大提出：Structured Sparse R-CNN：单阶段端到端场景图生成器
阿木寺的博客
04-13 595
点击下方卡片，关注“CVer”公众号AI/CV重磅干货，第一时间送达作者：王利民|已授权转载（源：知乎）编辑：CVerhttps://zhuanlan.zhihu.com/p/492255428本文介绍我们在场景图生成 (Scene Graph Generation, SGG) 领域的工作——Structured Sparse R-CNN for Direct Sc...
AAAI-场景图生成的深度生成概率图神经网络Deep Generative Probabilistic Graph Neural Networks for Scene Graph Generation
yimeixiaobai_的博客
08-02 964
文章地址：Deep Generative Probabilistic Graph Neural Networks for Scene Graph Generation. 简介 图像视觉理解是计算机视觉中一个很重要的任务，理解一个场景并不仅仅是识别出场景中的所有物体，物体之间的相互关系也是很重要的信息。为了表征这种语义，一些论文引入了场景图（scene graph）的概念，其中的节点表示对象，边则表示对象之间的关系。 如上图所示，图片提供的信息除了碗中有橘子和苹果等水果之外，还有碗在桌子上，水果在碗中这一信
场景识别论文阅读感想（初步）
Yshao的博客
08-27 6283
近日阅读了一篇cvpr上2016年关于场景识别的论文，写了如下感想   《The Cityscapes Dataset for Semantic Urban Scene Understanding》阅读感想 1.概述   对于城市道路的环境识别一直是一项对视觉识别来说是有挑战性的项目。而大规模的数据集对目标检测是十分有利，特别是在深度学习中。但是，对于目前真实的城市场景识别来说，目前的所...
场景图生成论文阅读笔记 之 CogTree: Cognition Tree Loss for Unbiased Scene Graph Generation
流觞时光
07-25 761
2020 arXiv 《CogTree: Cognition Tree Loss for Unbiased Scene Graph Generation》 无偏场景图生成的认知树损失 文章目录《CogTree: Cognition Tree Loss for Unbiased Scene Graph Generation》针对问题/基本思想算法步骤① Bias-based ‘Concept’② 构建Concept-centered子树③ 组合子树Cognition Tree Loss实验结果 针对问题/基
论文中画图作图经常用到的工具有哪些？
zhuiyunzhugang的博客
03-25 9855
不论是写论文还是产品计划书，会经常用到的画图工具有Excel、visio、StarUmL、photoshop。 matlba和python有很强的画图能力。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值