ICLR 2025 | 计算量仅DiT一半!中山大学&360 AI研究院开源Qihoo-T2X:统一架构搞定T2X任务

论文地址：https://arxiv.org/pdf/2409.04005
项目主页：https://360cvgroup.github.io/Qihoo-T2X
代码仓库：https://github.com/360CVGroup/Qihoo-T2X

作者信息：论文一作为来自中山大学的博士生王晶；论文共同一作和项目leader为来自360 AI Research视频生成方向的负责人马傲

亮点直击

• 提出了Proxy-Tokenized扩散 transformer（Proxy-Tokenized Diffusion Transformer，PT-DiT）。

• 推出了Qihoo-T2X系列模型，包括文本到图像（T2I）、文本到视频（T2V）以及文本到多视图（T2MV）生成模型。

• 设计了代理标记化注意机制，使得PT-DiT无需结构调整即可适应图像和视频生成任务。

• 实验结果表明，该方法在保持竞争性能的同时显著提高了效率。

• 在标准的3D VAE设置下（8倍空间下采样率和4倍时间下采样率），实验表明，该方法可以在64GB Ascend 910B上训练PT-DiT/XL（1.1B参数）模型，用于分辨率为2048×2048的图像生成或分辨率为512×512×288的视频生成。

Diffusion Transformer模型由于全局self-attention，其计算复杂度与序列长度平方成正比，导致其在高分辨率图像和长时间视频生成任务中面临计算成本高的问题。

为此，来自中山大学和360 AI Research的研究人员基于Proxy token提出了一种高效的Diffusion Transformer 即PT-DiT, 能够适用于文本生成图像、视频和Multi-View的等多种生成任务。作者基于PT-DiT进一步构建了包含Qihoo-T2I，Qihoo-T2V和Qihoo-T2MV等模型的Qihoo-T2X系列实现文本生成任意任务。

同参数规模下，PT-DiT的计算量仅为Lumina-Next的17.5%，DiT的51.4%。在降低计算量的同时，Qihoo-T2X展现出了与，Flux，Easyanimate和CogVideo相似的性能，能够根据给定指令生成逼真的高质量图像和视频。目前该研究已开源。