AIGCer的博客

摘要： 本文揭示了视觉自回归（AR）生成模型性能瓶颈的关键原因：生成器与分词器之间的不一致性，即生成的Token序列难以被分词器有效解码。为此，提出了一种即插即用的训练正则化方法reAR，通过噪声上下文正则化（缓解暴露偏差）和码本嵌入正则化（对齐生成器与分词器的视觉嵌入）来提升一致性。实验表明，reAR显著提升了生成质量（如VQGAN上FID从3.02降至1.86），甚至以更少参数超越复杂模型（如177M参数的reAR匹配675M参数扩散模型性能）。该方法兼容不同分词器，并展现出良好的扩展性和高效采样能力，

Helios：实时长视频生成新突破 北京大学等机构联合推出14B参数视频生成大模型Helios，在单张H100 GPU上实现19.5FPS的实时视频生成，支持分钟级长视频生成且保持高质量。Helios通过三大创新技术解决行业痛点： 深度压缩流技术：通过多期记忆补丁化和金字塔统一预测校正器大幅减少计算冗余，无需传统加速技术即可实现实时生成 简易防漂移方案：采用相对旋转位置编码消除重复动作，首帧锚点稳定全局色彩，帧感知破坏提升容错率，有效解决长视频漂移问题。