#今日论文推荐#SIGGRAPH2022 | Text2Human 玩的是真花呀

#今日论文推荐#SIGGRAPH2022 | Text2Human 玩的是真花呀

生成高质量和多样化的人类图像是视觉和图形中一项重要但具有挑战性的任务。然而，现有的生成模型往往在服装形状和纹理的高度多样性下达不到要求。此外，甚至希望生成过程对于外行用户来说是直观可控的。在这项工作中，我们提出了一个文本驱动的可控框架 Text2Human，用于高质量和多样化的人类一代。我们从给定的人体姿势开始通过两个专用步骤合成全身人体图像。 1）对于一些描述衣服形状的文本，首先将给定的人体姿势转换为人体解析图。2）然后通过为系统提供更多关于衣服纹理的属性来生成最终的人体图像。具体来说，为了对服装纹理的多样性进行建模，我们构建了一个分层纹理感知码本，用于存储每种纹理的多尺度神经表示。粗略级别的码本包括纹理的结构表示，而精细级别的码本侧重于纹理的细节。为了利用学习到的分层码本来合成所需的图像，首先使用混合专家的基于扩散的变换器采样器从码本的最粗略级别采样索引，然后用于预测更精细级别的码本索引。解码器将不同级别的预测索引转换为人类图像，并结合分层码本进行学习。混合专家的使用允许生成以细粒度文本输入为条件的图像。对更精细级别指数的预测改进了服装纹理的质量。广泛的定量和定性评估表明，与最先进的方法相比，我们提出的 Text2Human 框架可以生成更加多样化和逼真的人类图像。

论文题目：Text2Human: Text-Driven Controllable Human Image Generation
详细解读：https://www.aminer.cn/research_report/62b989507cb68b460fdcf2d9https://www.aminer.cn/research_report/62b989507cb68b460fdcf2d9
AMiner链接：https://www.aminer.cn/?f=cs