论文阅读：Scene Graph Generation by Iterative Message Passing

最新推荐文章于 2024-08-16 07:46:43 发布
最新推荐文章于 2024-08-16 07:46:43 发布
阅读量3.4k 收藏 7
点赞数 2
文章标签： scene understand
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_37014750/article/details/82682853
版权
这篇博客详细介绍了CVPR2017论文中提出的Iterative Message Passing方法在场景图生成中的应用。初始图使用全连接图进行初始化，网络考虑了C+1种关系概率，包括none-relation。文章阐述了如何通过GRU迭代更新，以及如何计算节点和边的兼容性得分来构建和更新context。在VG数据集的测试结果中，分析了R@k指标以及with和without graph constraint两种情况下的性能差异。
摘要由CSDN通过智能技术生成

Iterative Message Passing(CVPR2017)

文章
  问题是最开始的graph怎么得到？代码里还是用的full-connected graph作为初始化。
  本方法中，如果有C种关系，那么网络中是C+1个关系的概率，多的一个代表none-relation，物体类别也一样，多出来一类代表background。
这里写图片描述
  代码里，先将所有可能的relation都列出来了（任意两个不相同的box都认为可能有关系），因此还是有n*(n-1)对关系。GRU每次的输入为context，隐藏状态每次迭代都被更新。代码中的context是一种soft的：

  （1）对于edge，将其subject和object的特征（从GRU的隐藏状态得到），分别与该edge的GRU当前迭代的输出concat，分别经过不同的fc和relu得到一个0到1的compatibility score，对于每个edge，它的context就由他的s和o分别乘以它们对应的score的和。
  （2）对于vertex，一个vertex可能会在多个rel中充当sub或者obj，充当sub则称该rel为outbounds，反之为inbounds。同

最低0.47元/天 解锁文章
Kivee123
关注
Image Generation from Scene Graphs 论文解读
weixin_43551972的博客
10-13 1377
论文链接: https://arxiv.org/abs/1804.01622. GitHub代码: https://github.com/google/sg2im. 对于文本生成图片（Text-to-Image）的任务，如果一开始将scene layout（场景布局）作为中间媒介，连接text domain 和 image domain，将会取得很好的结果。但是这个想法实现起来需要很多方面难题要解...
Python-通过迭代消息传递的场景图生成
08-10
通过迭代消息传递的场景图生成，Scene Graph Generation by Iterative Message Passing
论文阅读：Scene Graph Generation by Iterative Message Passing(CVPR17)
qq_40349484的博客
09-10 376
论文阅读：Scene Graph Generation by Iterative Message Passing(CVPR17)
Scene Graph Generation by Iterative Message Passing解读
Sundrops的专栏
07-09 6827
lifeifei老师团队在发布了Visual Genome数据集后，又在Scene Graph Generation做的新的创新 关于Scene Graph Generation就不再赘述，在上一篇neural motif介绍过，neural motif比这篇晚一些，效果也好一些 Image to Scene Graph现状 Lu et al: Visual Rel...
[Scene Graph] Scene Graph Generation by Iterative Message Passing 论文解读
风中摇曳的小萝卜 的博客
09-17 682
Scene Graph Generation by Iterative Message Passing (CVPR 2017) 论文解读 简介 这篇文章在解决scene graph generation这个问题中更加偏向环境全局的上下文信息对于物体标签和关系预测带来的提升。为了获取和利用上下文信息，文章采用RNN-based的网络模型进行图推理。为了简化计算过程和提高计算效率，作者采用GRU（Ga...
Scene Graph Generation by Iterative Message Passing
sunshine__0411的博客
09-27 687
未完。。 理解视觉场景不仅仅是孤立地识别单个物体。对象之间的关系也含有关于场景的丰富语义信息。在本文中，我们使用场景图显式地建模了对象及其关系，场景图是图像的可视化图形结构。我们提出了一种新的端到端模型，该模型从输入图像生成所需的结构化场景表示。该模型使用标准RNN解决场景图推理问题，并通过消息传递学习迭代改进其预测能力。我们的联合推理模型可以利用上下文线索来更好地预测对象及其关系。 实验表...
有关场景重构2017、2018CVPR ICCV等论文及翻译总结
02-26
2017年和2018年的CVPR（计算机视觉与模式识别）以及ICCV（国际计算机视觉大会）上的论文集中体现了这一领域的最新研究动态和技术创新。 首先，我们关注到“GAN”（Generative Adversarial Networks，生成对抗网络）...
Paper Notes: A Comprehensive Survey on Graph Neural Networks
HotChoc的博客
03-05 1105
A Comprehensive Survey on Graph Neural Networks LINK: https://arxiv.org/abs/1901.00596 CLASSIFICATION: GNN, SURVEY YEAR: 2019 FROM: ArXivID:1901.00596 WHAT PROBLEM TO SOLVE: Existing surveys...
【论文阅读笔记】NeurIPS2020文章列表Part1
热门推荐
zincrain的博客
12-09 2万+
A graph similarity for deep learning An Unsupervised Information-Theoretic Perceptual Quality Metric Self-Supervised MultiModal Versatile Networks Benchmarking Deep Inverse Models over time, and the Neural-Adjoint method Off-Policy Evaluation and Learning.
Knowledge-Embedded Routing Network for Scene Graph Generation.pdf
08-09
To understand a scene in depth not only involves locating/recognizing individual objects, but also requires to infer the relationships and interactions among them. However, sincethedistributionofreal-worldrelationshipsisseriously unbalanced, existing methods perform quite poorly forthelessfrequentrelationships. Inthiswork,wefindthat the statistical correlations between object pairs and their relationships can effectively regularize semantic space and make prediction less ambiguous, and thus well address the unbalanced distribution issue. To achieve this, we incorporate these statistical correlations into deep neural networks to facilitate scene graph generation by developing a Knowledge-Embedded Routing Network. More specifically, weshowthatthestatisticalcorrelationsbetweenobjectsappearing in images and their relationships, can be explicitly representedbyastructuredknowledgegraph,andarouting mechanism is learned to propagate messages through the graph to explore their interactions. Extensive experiments on the large-scale Visual Genome dataset demonstrate the superiority of the proposed method over current state-ofthe-art competitors.
CVPR 2021最全论文开放下载！附pdf下载链接！
中科院AI算法工程师的博客
06-18 1万+
CVPR 2021最全论文开放，附所有pdf下载链接！
场景图生成论文阅读笔记 之 IMP(Scene Graph Generation by Iterative Message Passing)
流觞时光
07-08 611
IMP 2017CVPR 《Scene Graph Generation by Iterative Message Passing》 针对问题 前人的工作大多是local prediction，未利用丰富的上下文信息，因此会造成关系类别预测出现模糊和歧义 图的表示 把node(目标)和各个node之间的edge(边)都视为节点，即node节点和edge节点，因为edge也需要具备状态和更新状态，所以把edge也视为节点。 因此每个node节点直接相连的只有edge节点，反之同理，与edge节点直接相连的的只
Scene Graph Generation by Iterative Message Passing 项目教程
最新发布
gitblog_00493的博客
08-16 781
Scene Graph Generation by Iterative Message Passing 项目教程 scene-graph-TF-release"Scene Graph Generation by Iterative Message Passing" code repository项目地址:https://gitcode.com/gh_mirrors/sc/scene-graph-...
读书笔记24：Graph R-CNN for Scene Graph Generation
b224618的博客
09-11 5325
https://arxiv.org/pdf/1808.00191.pdf 本文摘要没有介绍背景及他人方法，而是开门见山，指出本文提出了一个新的scene generation model，叫做graph R-CNN。接着介绍这个模型的特点是能够既能高效的检测到图片中的物体，又能有效的抓取物体之间的关系。本文模型包括一个Relation proposal network（RePN）,能够高效的解决...
通过迭代消息传递生成场景图Scene Graph Generation by Iterative Message Passing（2017）
代码
05-20 1829
Scene Graph Generation by Iterative Message Passing摘要：介绍：相关工作场景理解和关系表示视觉场景表示图推理：场景图的生成问题公式化利用RNN来进行推理 大致翻译，有时间再整理一下 摘要： 理解视觉场景不仅仅是孤立地识别单个对象。对象之间的关系也构成了丰富的场景语义信息。论文中使用场景图(一种基于图像的可视化图形结构)显式地对对象及其关系建模。提出...
【场景图生成】Unbiased Scene Graph Generation from Biased Training
weixin_44574941的博客
04-12 2094
【场景图生成】Unbiased Scene Graph Generation from Biased Training
论文阅读笔记-场景图谱-图谱生成：Scene Graph Generation from Objects, Phrases and Region Captions
古承风的博客
01-13 1873
文章目录摘要引言正文部分Conclusionn Li Y, Ouyang W, Zhou B等. Scene Graph Generation from Objects, Phrases and Region Captions[J]. Proceedings of the IEEE International Conference on Computer Vision, 2017, 2017-October: 1270–1279. 摘要 目标检测 、 场景图谱生成 和 region captionin
场景图生成（scene graph generation），github/yrcong/RelTR 代码运行
tt1724369779的博客
04-26 1989
这周为了跑通yrcong/RelTR: RelTR: Relation Transformer for Scene Graph Generation (github.com)配置环境花了好长时间。 从github下载项目，按照网站要求： git clone https://github.com/yrcong/RelTR.git cd RelTR 之后下载anaconda配置新的环境，记住一定要按照网站要求设置python=3.6，我一开始运行python=3.7一直无法成功。下载需要的包。
scene graph generation
06-28
### 回答1： 场景图生成是指将图像或视频中的物体和场景转化为一种图形结构，以便计算机能够理解和处理。这种技术可以用于计算机视觉、机器人、虚拟现实等领域。场景图生成的过程包括物体检测、物体识别、物体关系建模等步骤，最终生成一张包含物体和它们之间关系的图形结构。 ### 回答2： Scene graph generation（场景图生成）是一种计算机视觉技术。它的目的是将图像中的对象及其关系转化成为一种语义结构、层次图或图表，以便计算机更好地理解图像内容。这种技术是自动化场景理解的基础。在深度学习领域，基于神经网络的场景图生成技术由于其高度的可解释性已经成为了研究的热点。 场景图是一种形式化的描述图像语义的方法，通过将图像中的各种元素（物体、人、颜色、位置、关系等）组织成一种树形结构，来表示图像中物体的属性、关系和语义信息。它不仅可以支持对特定物体的检测和识别，还可以将物体之间的关系进行建模。这种方法可以被用于图像检索、目标跟踪、可视化以及更高级别的任务，如图像问答和基于图像的推理。 生成 scene graph 的技术可以分为两种：基于目标检测的方法和基于全局信息的方法。基于目标检测的方法是利用物体检测器来先分别找到物体，再整合场景图；而基于全局信息的方法是直接提取图像中物体和它们之间的关系的特征，为每个对象生成一个向量，然后用这些向量生成场景图。这两种方法各有优缺点，实际应用中需要根据实际情况来选择。 总之，场景图生成技术是计算机视觉领域的热门研究方向，它在图像理解、人机交互、自动驾驶、机器人等领域都有着广泛的应用价值。 ### 回答3： 场景图（Scene Graph）是指一种数据结构，它描述了场景中的物体、他们的关系、以及物体之间的作用。而场景图生成（Scene Graph Generation）是指将图像或视频中的内容转换为类似场景图的结构的任务。场景图生成通常涉及物体检测、实例分割、语义分割等计算机视觉任务。 场景图生成有着广泛的应用，例如图像描述生成、视觉问答、图像修复、物体识别、目标跟踪等任务。场景图还可以被用于智能辅助驾驶系统、机器人视觉导航和处理3D模型等领域。 实现场景图生成的方法有许多，其中主要包括基于模板的方法、基于神经网络的方法以及基于图像和视频分析的方法。在基于模板的方法中，人们会根据已有的场景图模板来填充场景中的物体和关系。在基于神经网络的方法中，人们会使用深度学习模型来自动地检测和分割图像或视频中的物体，并从中提取出物体之间的关系。而基于图像和视频分析的方法，则通过对图像或视频进行语义分析、物体检测以及图像分割，提取出场景中的各个元素，进而生成场景图。 然而，场景图生成仍然是一个非常挑战的任务，存在许多问题需要被解决。例如，如何处理多个物体之间的复杂关系、如何消除物体之间的干扰、如何处理图像中遮挡的问题等等。因此，对于场景图生成，仍然存在大量的研究的空间和需求。
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值