AIGCer的博客

针对自回归视觉生成模型中图像与语言的根本差异问题，提出IAR改进方法。研究发现视觉编码空间中相似编码对应相近图像内容，据此设计两项创新技术：(1)基于平衡K-means的码本重排策略，确保簇内编码高度相似；(2)簇导向交叉熵损失，引导模型预测目标Token所在簇而非单一Token。实验表明，该方法显著提升生成质量和训练效率（最大提升42%），在ImageNet上取得FID 2.19、IS 362.0的SOTA效果，且可泛化至LlamaGen、VAR等多种自回归模型。该工作为统一多模态生成提供了新思路。

长视频生成的分布偏移问题使用基于短视频训练的模型生成长视频时，由于帧数变化导致数据分布偏移，出现质量下降、物体缺失和运动缓慢等问题。全局与局部信息难以有效融合现有方法（如全局对齐或局部滑动窗口拼接）无法兼顾全局一致性和局部质量，导致视频出现运动不一致或视觉质量下降。外观与运动耦合的挑战视频中的外观和运动高度耦合，直接融合全局和局部特征会导致生成结果不协调。

复杂领域适应性问题：生成模型在适应复杂领域时，通常需要大量成对的文本-图像数据，但这类数据难以获取且成本高昂。无配对数据的利用：现有的生成模型难以有效利用单模态（如视觉或语言）的无配对数据进行领域适应。跨模态对齐的挑战：在无配对数据的情况下，如何实现视觉和语言之间的跨模态对齐，以支持生成模型的领域适应。

现有生成扩散模型在图像风格和语义理解方面虽然有进展，但在将参考图像的视觉特征转移到生成图像中时，使用即插即用注意力特征的方法存在局限性。