SegAttnGAN: Text to Image Generation with Segmentation Attention 论文解读

题目:Segattingan:关注分割的文本到图像生成
时间:2020.5
作者:苟玉川,吴千城,李明浩,龚柏,韩梅
被 CVPR 2020 的 AI 内容创作研讨会录取

Abstract

在本文中,我们提出了一种新的生成网络(SegAttnGAN),它利用额外的分割信息来完成文本到图像的合成任务。由于引入到模型中的分割数据为生成器训练提供了有用的指导,因此与以往的先进方法相比,该模型可以生成更逼真的图像,并具有更高的量化度量。我们在CUB数据集和Oxford-102数据集上的初始得分分别为4.84和3.52。此外,我们还测试了self-attenting SegAttnGAN,它使用生成的分割数据而不是来自数据集的masks来进行注意,并获得了类似的高质量结果,这表明我们的模型可以适用于文本到图像的合成任务。

1.Introduction

  1. 研究现状:基于语义描述生成高保真、逼真的图像是许多应用程序的核心任务。很多研究都集中在文本到图像合成任务上,该任务采用自然语言描述生成与文本匹配的图像。该任务的许多模型使用生成性对抗网络(GAN),以文本输入为条件,而不是高斯噪声来生成图像。
  2. 现有模型存在的问题:尽管像这样的模型在保持图像文本一致性的同时实现了令人满意的视觉质量,但除了唯一约束对象形状的特定关键字外,对生成图像的布局几乎没有控制。这些模型通常会生成形状变形的对象或布局不切实际的图像(见图1和图3)。
    来自AttnGAN,我们提出的SegAttnGAN和自注意SegAttnGAN的样本结果。
  3. 最近的工作表明,当分割数据的空间注意力用于指导图像生成时,图像合成任务可以获得良好的结果。为了解决变形的形状和不切实际的布局问题,我们设计了SegAttnGAN,它利用分割来增加文本输入之外的全局空间注意力。我们希望空间信息能够调整生成图像的布局,从而创建更逼真的图像。实验表明,当使用额外的分割信息来指导图像生成时,将获得令人满意的结果。
  4. 本文的贡献总结如下:
    (1)我们提出了一种新的生成网络,它利用文本和空间注意来生成真实的图像。
    (2)我们验证了在GAN中加入空间注意机制可以通过调节物体形状和图像布局显著提高视觉真实感。
    (3)我们构建了一个自注意网络,首先生成分割masks,然后使用它生成图像。基于定性结果,自注意模型也能很好地
  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
这个错误信息是由于在链接时无法找到指定的可执行文件导致的。具体来说,它指出无法链接到一个名为'/Users/apple/Library/Developer/Xcode/DerivedData/LePaiDemo-ftsuwgzvjdjwzghgkuefbzvdkvey/Build/Products/Debug-iphoneos/LePaiDemo.app/LePaiDemo'的可执行文件,原因是该文件不适用于架构armv7。同时,还出现了一个错误提示,即clang: error: unable to execute command: Segmentation fault (core dumped)。 这个错误通常是由于编译器或链接器的问题导致的。可能的原因包括编译器版本不兼容、编译选项设置错误、依赖库缺失或不匹配等。 为了解决这个问题,你可以尝试以下几个步骤: 1. 确保你使用的编译器版本与项目要求的兼容。你可以检查项目的编译设置,确保选择了正确的编译器版本。 2. 检查编译选项是否正确设置。你可以检查项目的构建设置,确保编译选项正确设置,并且没有冲突或错误。 3. 检查依赖库是否正确配置。你可以检查项目的依赖库设置,确保所有依赖库都正确添加,并且与项目的架构匹配。 4. 清理并重新构建项目。你可以尝试清理项目并重新构建,以确保所有编译和链接过程都能够正确执行。 如果以上步骤都没有解决问题,你可能需要进一步调查错误的具体原因,例如查看编译器或链接器的日志输出,以获取更多的信息。 #### 引用[.reference_title] - *1* [iOS 开发报错 clang: error: unable to execute command: Segmentation fault: 11](https://blog.csdn.net/u011496891/article/details/45098567)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^insertT0,239^v3^insert_chatgpt"}} ] [.reference_item] [ .reference_list ]
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值