点击下方卡片，关注“CVer”公众号
AI/CV重磅干货，第一时间送达
添加微信：CVer5555，小助手会拉你进群！
扫描下方二维码，加入CVer学术星球！可以获得最新顶会/顶刊上的论文idea和CV从入门到精通资料，及最前沿应用！发论文/搞科研/涨薪，强烈推荐！
STAR团队 投稿自 凹非寺
转载自：量子位（QbitAI）
超越扩散模型！自回归范式在图像生成领域再次被验证——
中科大、哈工大、度小满等机构提出通用文生图模型STAR。
仅需2.9秒就可生成高质量图像，超越当前一众包括SDXL在内扩散模型的性能。
此外在生成图像真实度、图文一致性和人类偏好上均表现优秀。
来看看具体是如何做到的？
自回归通用文生图模型STAR
扩散模由于其高质量和多元的生成，一度在文生图领域占有主导地位。
它通过逐步的去噪过程，为图像生成提供了更强的稳定性和可控性，然而也导致生成过程极其耗时。
而自回归模型的潜力，在受到大语言模型启发下，开始在这一领域逐渐被探索。
比如VAR指出是因为自回归模型逐个预测token的行为不符合图像模态的特点，提出“next-scale prediction”范式，将视觉自回归建模为逐个预测更大尺度scale的token map。这一方式避免了原始基于next-token的自回归方案难以建模图像模态的问题，重新为视觉生成定义了新的自回归范式，从而使得生成的图像具有更高的真实度，不过仍然有很多局限，性能仍落后于扩散模型。
作者提出基于尺度的文生图自回归模型STAR，重新思考VAR中的“next-scale prediction”范式。
具体来说，所提出的STAR包括两部分：
增强的文本引导和改进的位置编码，以高效地实现高质量图像生成。
增强的文本引导
为了更好地处理各种复杂的文本描述并生成相应的图像，研究者提出几项关键解决方案：
1、文本特征作为起始token map，根据起始token map生成更高分辨率的token map这不仅增强了模型对新文本场景的适应性，确保模型可以泛化到新的文本提示，从整体上保证了文本描述与生成图像之间的一致性
2、在每个transformer层引入交叉注意力机制，从更精细的粒度控制图像生成，使得生成的图像更加精确地贴合文本。
具体网络格式如下：
归一化旋转位置编码（Normalized RoPE）
对于next-scale prediction范式，如何利用同一个transformer生成不同尺度的token map是一个重要的问题，随之而来的是如何编码这些token map中的tokens的位置。
传统的正余弦编码难以处理不同尺度的token map，同时编码多个尺度容易导致尺度之间的混淆。
可学习的绝对位置编码需要为每个尺度的token map学习对应的位置编码，导致额外的学习参数，提升了训练难度，尤其是大尺度情况下的训练变得更加困难；除此之外固定个数的位置编码限制了更大分辨率图像生成的可能。
研究者提出二维的归一化旋转位置编码（Normalized RoPE）
任意token间的相对位置被归一化到统一的尺度，从而确保了对不同尺度的token map中的相对位置有统一的理解，避免对不同尺度位置同时编码的混淆，更好地适配scale-prediction任务。
除此之外，这一新的位置编码不需要额外的参数，更易于训练，为更高分辨率图像生成提供了潜在的可能。
训练策略
研究者选择先在256*256图像上以较大的batch size训练生成，随后在512*512图像上微调，以获得512的生成结果。由于归一化位置编码，模型很快收敛，仅需少量微调即可生成高质量512分辨率图像。
相比目前的方法，所提出的STAR在FID，CLIP score和ImageReward上表现优异，体现了STAR良好的生成真实度，图文一致性和人类偏好。除此之外，STAR生成一张512分辨率的高质量图像仅需约2.9秒，相比现有的扩散文生图模型具有显著优势。
具体地，在MJHQ-30k上的FID达到4.73，超越了PixArt-α等模型；CLIP score达到0.291，与SDXL相当：
在ImageReward benchmark上，STAR达到了0.87的image reward，与领先的PixArt-α相当：
相比现有的方法，STAR可以生成多元的图像类型。
在人物摄影、艺术绘画、静物、风景等场景下均能获得很好的效果，生成的人脸、毛发、材质达到了令人惊叹的细节：
总的来说，STAR基于scale-wise自回归的方式，解决了VAR中存在的引导条件有限、位置编码不合理的问题，实现了更高效、性能更好的文本引导图像生成。
广泛的实验证明，所提出的方法在生成图像真实度、图文一致性和人类偏好上均表现优秀。仅需约2.9秒的时间内，在512分辨率图像生成上，实现超越先进的文生图扩散模型（PixArt-α、Playground、SDXL等）的性能。
基于自回归的STAR为目前diffusion支配的文本控制图像生成领域提供了新的可能。
项目网站：
https://krennic999.github.io/STAR/
论文链接：
https://arxiv.org/pdf/2406.10797
何恺明在MIT授课的课件PPT下载
在CVer公众号后台回复：何恺明，即可下载本课程的所有566页课件PPT！赶紧学起来！CVPR 2024 论文和代码下载
在CVer公众号后台回复：CVPR2024，即可下载CVPR 2024论文和代码开源的论文合集Mamba、多模态和扩散模型交流群成立
扫描下方二维码，或者添加微信：CVer5555，即可添加CVer小助手微信，便可申请加入CVer-Mamba、多模态学习或者扩散模型微信交流群。另外其他垂直方向已涵盖：目标检测、图像分割、目标跟踪、人脸检测&识别、OCR、姿态估计、超分辨率、SLAM、医疗影像、Re-ID、GAN、NAS、深度估计、自动驾驶、强化学习、车道线检测、模型剪枝&压缩、去噪、去雾、去雨、风格迁移、遥感图像、行为识别、视频理解、图像融合、图像检索、论文投稿&交流、PyTorch、TensorFlow和Transformer、NeRF、3DGS、Mamba等。
一定要备注：研究方向+地点+学校/公司+昵称（如Mamba、多模态学习或者扩散模型+上海+上交+卡卡），根据格式备注，可更快被通过且邀请进群▲扫码或加微信号: CVer5555，进交流群
CVer计算机视觉（知识星球）来了！想要了解最新最快最好的CV/DL/AI论文速递、优质实战项目、AI行业前沿、从入门到精通学习教程等资料，欢迎扫描下方二维码，加入CVer计算机视觉（知识星球），已汇集近万人！
▲扫码加入星球学习▲点击上方卡片，关注CVer公众号
整理不易，请赞和在看
661
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
