Rich Human Feedback for Text-to-Image Generation

本文是LLM系列文章，针对《Rich Human Feedback for Text-to-Image Generation》的翻译。该篇文章是2024CVPR best Paper。

摘要

最近的文本到图像（T2I）生成模型，如稳定扩散和Imagen，在基于文本描述生成高分辨率图像方面取得了重大进展。然而，许多生成的图像仍然存在诸如伪影/不可信、与文本描述不一致以及低美学质量等问题。受人类反馈强化学习（RLHF）在大型语言模型中的成功启发，先前的工作收集了人类提供的分数作为对生成图像的反馈，并训练了奖励模型来改进T2I生成。在本文中，我们通过（i）标记与文本不可信或不对齐的图像区域，以及（ii）注释文本提示中的哪些单词在图像上被误传或缺失，来丰富反馈信号。我们在18K生成的图像（RichHF18K）上收集这种丰富的人类反馈，并训练多模态Transformer来自动预测丰富的反馈。我们表明，可以利用预测的丰富人类反馈来改进图像生成，例如，通过选择高质量的训练数据来微调和改进生成模型，或者通过创建具有预测热图的掩模来修复有问题的区域。值得注意的是，除了用于生成收集人类反馈数据的图像（稳定扩散变体）之外，这些改进还推广到了模型（Muse）。RichHF-18K数据集将在我们的GitHub存储库中发布：https://github.com/googleresearch/google-research/tree/master/richhf18k</