AAAI2024最佳解读|Semantic-aware Data Augmentation for Text-to-image Synthesis-water-merged

论文标题

Semantic-Aware Data Augmentation for Text-to-Image Synthesis 语义感知数据增强用于文本到图像合成

论文链接

Semantic-Aware Data Augmentation for Text-to-Image Synthesis论文下载

论文作者

Zhaorui Tan, Xi Yang, Kaizhu Huang

内容简介

本文提出了一种新颖的语义感知数据增强（SADA）框架，旨在解决文本到图像合成（T2Isyn）中的语义不匹配和语义崩溃问题。当前的增强方法在生成图像时常常导致文本与图像之间的语义不一致，影响生成质量。SADA通过隐式文本语义保持增强（ITA）和生成图像语义保护（GisC）来增强文本和图像的语义一致性。ITA通过对文本嵌入施加扰动来保持语义，而GisC则通过约束生成图像的语义分布来避免语义崩溃。大量实验表明，SADA显著提高了T2Isyn模型的文本-图像一致性和图像质量，尤其在稳定扩散模型的调优过程中表现出色。

分点关键点

1. SADA框架

   • SADA框架由隐式文本语义保持增强（ITA）和生成图像语义保护（GisC）组成。ITA通过对文本嵌入施加扰动来增强文本的语义一致性，而GisC则通过约束生成图像的语义分布来避免语义崩溃。

2. 隐式文本语义保持增强（ITA）

   • ITA通过在语义空间中对文本嵌入进行扰动，确保增强文本的语义与原始文本保持一致。该方法不需要额外的模型，能够有效地减少语义不匹配的风险。

3. 生成图像语义保护（GisC）

   • GisC通过对生成图像施加语义约束，确保生成的图像在语义上与输入文本一致。该方法通过分析Lipschitz连续性和语义约束的紧致性，理论上证明了其有效性。

4. 实验结果

   • 实验结果表明，SADA在多种T2Isyn模型中显著提高了文本-图像一致性和图像质量，尤其在稳定扩散模型的调优过程中，SADA的引入带来了显著的性能提升。

中文关键词

1. 语义感知数据增强
2. 文本到图像合成
3. 隐式文本语义保持增强
4. 生成图像语义保护
5. 语义一致性
6. 图像质量

AAAI论文合集：

AAAI论文合集

希望这些论文能帮到你！如果觉得有用，记得点赞关注哦~ 后续还会更新更多论文合集！！