🤗关注公众号 funNLPer 快乐白嫖🤗
论文:GLIGEN: Open-Set Grounded Text-to-Image Generation
代码:gligen/GLIGEN
项目地址:GLIGEN
demo地址:gligen demo
文章目录
简单来说GLIEN的出发点与我们之前介绍的 可控生成之ControlNet 类似,都是希望对SD等预训练生成大模型进行精准控制,从而让SD的生成结果更符合人们的期望。
1. 动机
尽管Stable Diffusion生成的图片已经足够让人惊艳,但是存在一个问题是SD只通过文本来控制图像的生成,这造成对模型生成的控制能力不够强大,因为很多图片我们无法详细准确的描述,尤其是图片中各个实体的方位、以及实体的细节等。基于这个问题出发GLIEN提出在模型的输入中增加定