超越扩散模型！自回归新范式仅需2.9秒就生成高质量图像，中科大哈工大度小满出品

超越扩散模型！ 自回归范式在图像生成领域再次被验证——

中科大、哈工大、度小满等机构提出通用文生图模型STAR。

仅需2.9秒就可生成高质量图像，超越当前一众包括SDXL在内扩散模型的性能。

此外在生成图像真实度、图文一致性和人类偏好上均表现优秀。

来看看具体是如何做到的？

自回归通用文生图模型STAR

扩散模由于其高质量和多元的生成，一度在文生图领域占有主导地位。

它通过逐步的去噪过程，为图像生成提供了更强的稳定性和可控性，然而也导致生成过程极其耗时。

而自回归模型的潜力，在受到大语言模型启发下，开始在这一领域逐渐被探索。

比如VAR指出是因为自回归模型逐个预测token的行为不符合图像模态的特点，提出“next-scale prediction”范式，将视觉自回归建模为逐个预测更大尺度scale的token map。这一方式避免了原始基于next-token的自回归方案难以建模图像模态的问题，重新为视觉生成定义了新的自回归范式，从而使得生成的图像具有更高的真实度，不过仍然有很多局限，性能仍落后于扩散模型。

作者提出基于尺度的文生图自回归模型STAR，重新思考VAR中的“next-scale prediction”范式。

具体来说，所提出的STAR包括两部分：

增强的文本引导和改进的位置编码，以高效地实现高质量图像生成。

增强的文本引导

为了更好地处理各种复杂的文本描述并生成相应的图像，研究者提出几项关键解决方案：

1、文本特征作为起始token map，根据起始token map生成更高分辨率的token map这不仅增强了模型对新文本场景的适应性，确保模型可以泛化到新的文本提示，从整体上保证了文本描述与生成图像之间的一致性

2、在每个transformer层引入交叉注意力机制，从更精细的粒度控制图像生成，使得生成的图像更加精确地贴合文本。

具体网络格式如下：

归一化旋转位置编码（Normalized RoPE）

对于next-scale prediction范式，如何利用同一个transformer生成不同尺度的token map是一个重要的问题，随之而来的是如何编码这些token map中的tokens的位置。

传统的正余弦编码难以处理不同尺度的token map，同时编码多个尺度容易导致尺度之间的混淆。

可学习的绝对位置编码需要为每个尺度的token map学习对应的位置编码，导致额外的学习参数，提升了训练难度，尤其是大尺度情况下的训练变得更加困难；除此之外固定个数的位置编码限制了更大分辨率图像生成的可能。

研究者提出二维的归一化旋转位置编码（Normalized RoPE）

任意token间的相对位置被归一化到统一的尺度，从而确保了对不同尺度的token map中的相对位置有统一的理解，避免对不同尺度位置同时编码的混淆，更好地适配scale-prediction任务。

除此之外，这一新的位置编码不需要额外的参数，更易于训练，为更高分辨率图像生成提供了潜在的可能。

训练策略

研究者选择先在256256图像上以较大的batch size训练生成，随后在512512图像上微调，以获得512的生成结果。由于归一化位置编码，模型很快收敛，仅需少量微调即可生成高质量512分辨率图像。

相比目前的方法，所提出的STAR在FID，CLIP score和ImageReward上表现优异，体现了STAR良好的生成真实度，图文一致性和人类偏好。除此之外，STAR生成一张512分辨率的高质量图像仅需约2.9秒，相比现有的扩散文生图模型具有显著优势。

具体地，在MJHQ-30k上的FID达到4.73，超越了PixArt-α等模型；CLIP score达到0.291，与SDXL相当：

在ImageReward benchmark上，STAR达到了0.87的image reward，与领先的PixArt-α相当：

相比现有的方法，STAR可以生成多元的图像类型。

在人物摄影、艺术绘画、静物、风景等场景下均能获得很好的效果，生成的人脸、毛发、材质达到了令人惊叹的细节：

总的来说，STAR基于scale-wise自回归的方式，解决了VAR中存在的引导条件有限、位置编码不合理的问题，实现了更高效、性能更好的文本引导图像生成。

广泛的实验证明，所提出的方法在生成图像真实度、图文一致性和人类偏好上均表现优秀。仅需约2.9秒的时间内，在512分辨率图像生成上，实现超越先进的文生图扩散模型（PixArt-α、Playground、SDXL等）的性能。

基于自回归的STAR为目前diffusion支配的文本控制图像生成领域提供了新的可能。

项目网站：
https://krennic999.github.io/STAR/

论文链接：
https://arxiv.org/pdf/2406.10797

​

如何学习AI大模型？

作为一名热心肠的互联网老兵，我决定把宝贵的AI知识分享给大家。 至于能学习到多少就看你的学习毅力和能力了 。我已将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

这份完整版的大模型 AI 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

一、全套AGI大模型学习路线

AI大模型时代的学习之旅：从基础到前沿，掌握人工智能的核心技能！

二、640套AI大模型报告合集

这套包含640份报告的合集，涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，这套报告合集都将为您提供宝贵的信息和启示。

三、AI大模型经典PDF籍

随着人工智能技术的飞速发展，AI大模型已经成为了当今科技领域的一大热点。这些大型预训练模型，如GPT-3、BERT、XLNet等，以其强大的语言理解和生成能力，正在改变我们对人工智能的认识。 那以下这些PDF籍就是非常不错的学习资源。

四、AI大模型商业化落地方案

作为普通人，入局大模型时代需要持续学习和实践，不断提高自己的技能和认知水平，同时也需要有责任感和伦理意识，为人工智能的健康发展贡献力量。