IterComp：从模型图库中迭代合成感知反馈学习，用于文本到图像的生成

最新推荐文章于 2024-11-13 17:24:18 发布

吴脑的键客

最新推荐文章于 2024-11-13 17:24:18 发布

阅读量501

点赞数 13

分类专栏： AI作画文章标签：人工智能 AI作画 AIGC

本文链接：https://blog.csdn.net/weixin_41446370/article/details/142851895

版权

AI作画专栏收录该内容

55 篇文章 4 订阅

订阅专栏

在这里插入图片描述
我们从多个模型中收集组成感知模型偏好，并采用迭代反馈学习方法，使基础扩散模型和奖励模型都能逐步自我完善。

我们提出了一种迭代反馈学习方法，通过多次迭代，使基础扩散模型和奖励模型逐步自我完善，从而以闭环方式增强合成性。理论证明了这一方法的有效性，大量实验也表明我们的方法明显优于之前的 SOTA 方法（如 Omost 和 FLUX），尤其是在多类别对象合成和复杂语义对齐方面。

IterComp 是最新的合成生成方法之一。在这个资源库中，我们发布了 SDXL Base 1.0 的模型训练。

在这里插入图片描述

from diffusers import DiffusionPipeline
import torch

pipe = DiffusionPipeline.from_pretrained("comin/IterComp", torch_dtype=torch.float16, use_safetensors=True)
pipe.to("cuda")
# if using torch < 2.0
# pipe.enable_xformers_memory_efficient_attention()

prompt = "An astronaut riding a green horse"
image = pipe(prompt=prompt).images[0]
image.save("output.png")