Instruct-Imagen: Image Generation with Multi-modal Instruction

Q: 这篇论文试图解决什么问题？

A: 这篇论文试图解决的问题是如何构建一个能够处理多样化图像生成任务并能够泛化到未见任务的模型。具体来说，它关注以下几个关键点：

1. 多模态指令：引入多模态指令（multi-modal instruction）的概念，允许模型通过自然语言结合不同模态（例如文本、边缘、风格、主题等）来精确表达生成图像的意图。

2. 模型泛化能力：构建一个统一的模型（Instruct-Imagen），它不仅能够在特定领域内的任务上达到或超过现有任务特定模型的性能，而且能够在未见的更复杂任务上展现出良好的泛化能力。

3. 两阶段训练框架：提出一个两阶段的训练框架，首先通过检索增强训练（retrieval-augmented training）来增强模型处理多模态输入的能力，然后在多样化的图像生成任务上进行微调（fine-tuning）