Rich Human Feedback for Text-to-Image Generation 读论文笔记
Motivation:探索如何优化如Stable Diffusion T2I生成模型的优化问题,因为这些模型都会有诸如伪影,与文字描述不匹配和美学质量低等问题。本文参考大语言模型强化学习的方式,训练奖励模型来改进生成模型。Contribusion:在收集的数据集(RichHF18K)收集feedback,通过选择高质量的训练数据和改进来生成模型,或者使用预测的heatmap来创建掩码,修复有问题的区域。一个多模态Transformer模型对生成的图像进行丰富的反馈预测。
原创
2024-06-21 16:40:39 ·
1553 阅读 ·
0 评论