Image Generation from Scene Graph

最新推荐文章于 2023-04-09 09:28:12 发布
VIP文章 最新推荐文章于 2023-04-09 09:28:12 发布
阅读量395 收藏 3
点赞数
分类专栏： Pytorch 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43654661/article/details/89416540
版权

写一点看过的论文和code的感悟
首先看一下论文的总体实现：
system
我觉得这个模型与传统模型主要的两个创新点就是Graph Convolution和Cascaded Refinement Network

Graph Convolution

按论文上说，他处理scene graph 是通过graph的边来传递信息的，也就是所本来一个单词向量(obj_vecs)代表graph中的一个节点对象，但是通过图卷积之后每个obj_vecs包含了所有和它相邻的节点对象的信息(也就是有边相连的节点)，这样通过获得的new_obj_vecs用来预测mask和bounding_box时就能较好的区分开来。相对于StackGAN++中直接用一个sentence_vecs预测一张图像就能更好低区分途中的不同对象，使每个对象尽可能的精细。

比如我们有这样一张scene graph:

最低0.47元/天 解锁文章
weixin_43654661
关注
  • 0
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
scenegraph-driver:用于Roku开发的SceneGraph自动化库
05-12
Roku Libs 用于Roku开发的SceneGraph自动化库。 注意：自2019年12月起，Roku已发布了官方的自动化测试工具： : 。 作者 Julio 初期工作/维护人员 执照 该项目是根据。
text to image（八）:《Image Generation from Scene Graphs》
zlrai5895的博客
07-27 6098
最近在翻阅文本生成图像的相关工作，目前比较新的有突破性的工作是李飞飞工作团队18年cvpr发表的《Image Generation from Scene Graphs》 。        论文地址：https://arxiv.org/abs/1804.01622        源码地址： https://github.com/google/sg2im        这篇主要就是介绍该论文的工...
读书笔记24：Graph R-CNN for Scene Graph Generation
b224618的博客
09-11 5236
https://arxiv.org/pdf/1808.00191.pdf 本文摘要没有介绍背景及他人方法，而是开门见山，指出本文提出了一个新的scene generation model，叫做graph R-CNN。接着介绍这个模型的特点是能够既能高效的检测到图片中的物体，又能有效的抓取物体之间的关系。本文模型包括一个Relation proposal network（RePN）,能够高效的解决...
SGTR: End-to-end Scene Graph Generation阅读笔记
m0_68621100的博客
04-09 607
sword标志为论文复现结果， 表示FCSGG模型中独特的物体检测器和backbone，*为重采样策略的模型，在论文的方法（Ours）中 表示TOP-K取1时的性能，Time/Sec为生成一张场景图的耗时，可以看到论文方法在效率和性能上取得平衡，并且论文方法的mR@K远超过其他端到端方法（DETR类），说明论文方法能改善数据集标注中的长尾问题。，在指示特征子解码器中使用实体特征更新，更新后的指示特征能够感知与实体节点间的相关性，从而能更好的指示谓词节点寻找其对应的实体节点；
image generation from scene graphs 论文+code复现总结
weixin_45515047的博客
04-06 511
text2img(一)论文+code复现总结 image generation from scene graphs abstraction 传统方法在一些限制好的领域像鸟或花，这些方法都还不错，但是在如实地分解复杂的段落为多个对象和关系上都很失败。 他们提出了一个方法，从场景图生成图像，明确地推理对象和他们的关系 用图卷积网络处理输入图像，计算一个场景布局通过预测边界框和对象分割遮罩，通过级联优化网络（一对鉴别器）将布局转化为网络 introduction 传统方法 RNN+GAN 句子是线性结构 [外链图
Image Generation from Scene Graphs基于场景图构造图像
jinking01的专栏
05-13 1088
利用图卷积模型大大提高生成图像语意丰富性的文章，一作是来自李飞飞实验组的 Justin Johnson，这位小哥的文章总是会有开源代码保证，点个赞先。由语意到生成图像，需要神经网络具有创造能力。所以，本文开头就引用了一句名言: What I cannot create, I do not understand. 神经网络要想真正理解我们的视觉世界，只有识别能力是不行的，还需要有创造的本领。 ...
【2018CVPR】Image Generation from Scene Graphs论文分享
zn0412的博客
07-21 438
现有的根据文本生成图像的方法难以生成语言描述中包含多个对象以及对象之间关系的图。于是，作者提出了用图卷积处理输入图像，根据bounding box等计算场景布局，然后用级联细化网络和对抗生成网络把布局转换成图。
场景图生成图像
qq_44462711的博客
10-06 591
论文摘要 为了能真正理解视觉世界，模型不仅要能够识别图像，还要能够生成它们。近期在自然语言描述生成图片方面取得了令人兴奋的进展。这些方法在有限的领域（例如鸟类或花卉的描述）上提供了令人惊叹的结果，但对于具有许多对象和关系的复杂句子却很难成功复制。为了克服这个限制，作者提出了一种从场景图生成图像的方法，能够明确地推理对象及其关系。作者开发的模型使用图形卷积来处理输入图，通过预测对象的边界框和分割掩模来计算场景布局，并且将布局转换为具有级联精化网络的图像。论文作者使用对抗训练网络对抗一组鉴别器，以确保实际输出
Image Generation from Scene Graphs 论文解读
weixin_43551972的博客
10-13 1316
论文链接: https://arxiv.org/abs/1804.01622. GitHub代码: https://github.com/google/sg2im. 对于文本生成图片（Text-to-Image）的任务，如果一开始将scene layout（场景布局）作为中间媒介，连接text domain 和 image domain，将会取得很好的结果。但是这个想法实现起来需要很多方面难题要解...
【CVPR 2018】Image Generation from Scene Graphs从场景图中生成图像 [文本转图]
热门推荐
luolan9611的博客
04-25 1万+
这是李飞飞团队2018年被CVPR接收的一篇文章。PDF下载链接为：https://arxiv.org/abs/1804.01622 （2018.7.6添加）Github代码下载链接：https://github.com/google/sg2im 在这里放上我CSDN的下载链接： https://download.csdn.net/download/luolan9611/10373565 ...
Knowledge-Embedded Routing Network for Scene Graph Generation.pdf
08-09
To understand a scene in depth not only involves locating/recognizing individual objects, but also requires to infer the relationships and interactions among them. However, sincethedistributionofreal-worldrelationshipsisseriously unbalanced, existing methods perform quite poorly forthelessfrequentrelationships. Inthiswork,wefindthat the statistical correlations between object pairs and their relationships can effectively regularize semantic space and make prediction less ambiguous, and thus well address the unbalanced distribution issue. To achieve this, we incorporate these statistical correlations into deep neural networks to facilitate scene graph generation by developing a Knowledge-Embedded Routing Network. More specifically, weshowthatthestatisticalcorrelationsbetweenobjectsappearing in images and their relationships, can be explicitly representedbyastructuredknowledgegraph,andarouting mechanism is learned to propagate messages through the graph to explore their interactions. Extensive experiments on the large-scale Visual Genome dataset demonstrate the superiority of the proposed method over current state-ofthe-art competitors.
Img2SceneGraph
04-07
Img2SceneGraph 内容 概述 Img2SceneGraph提供了一个管道，该管道可将图像传输到具有节点属性的场景图。 它可以使用各种下游任务来生成带标签的图形数据集。 这是一个典型的工作流程： 步骤1：从标记的图像到节点和...
S3032-Advanced-Scenegraph-Rendering-Pipeline
最新发布
11-13
S3032-Advanced-Scenegraph-Rendering-Pipeline
QPainter 与QML SceneGraph绘制效率对比测试
09-24
从半径为0开始，0.1个像素递增半径画同心圆，一直画到100，重复这一过程。
Efficient Graph-Based Image Segmentation.rar
07-09
《Efficient Graph-Based Image Segmentation》论文C++代码，交流学习下
Qt Scene graph画线和擦除
03-10
Qt Scene graph画线，并在QML中使用，相比于Canvas和QPainter的方式，在android中效果不错。亲测可用
Efficient Graph-Based Image Segmentation
09-03
Efficient Graph-Based Image Segmentation论文的实现代码，以及给了一个测试样例，在Linux下运行通过
sceneLib C++ OpenGL Scene Graph Library-开源
05-10
sceneLib旨在成为一个快速且易于使用的OpenGL场景图库。
OpenRM Scene Graph-开源
04-28
用于Linux / Unix / Win32的2D / 3D场景图渲染引擎位于OpenGL之上。 支持立体检查，体绘制，2D / 3D纹理映射，拾取，与LOD和视图相关的操作，跨平台文本，恒定速率渲染和基于图像的数据。
scene graph generation
06-28
场景图生成是指将图像或视频中的物体和场景转化为一种图形结构，以便计算机能够理解和处理。这种技术可以用于计算机视觉、机器人、虚拟现实等领域。场景图生成的过程包括物体检测、物体识别、物体关系建模等步骤，...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值