AIGCer的博客

《KlingAvatar2.0：多模态协同推理的数字人生成框架》提出了一种创新的时空级联架构，通过多专家协同导演实现高分辨率、长时长数字人视频合成。该系统采用两阶段生成流程：首先生成低分辨率全局"蓝图"，再通过时空上采样细化高分辨率子片段。创新性地引入音频/视觉/文本三位专家组成的协同推理导演模块，通过多轮对话解决多模态指令冲突，并新增"负面导演"优化生成质量。

AudioGen-Omni 首个统一多模态框架，支持视频同步生成多样化音频（通用音频、语音、歌曲）。该模型采用多模态扩散Transformer（MMDiT）架构，通过相位对齐位置注入（PAAPI）技术实现精确的视听同步。创新性地使用轻量级歌词-转录模块实现帧对齐表示，无需音素时长监督。模型在联合训练范式下，利用大规模多模态数据，支持灵活的条件输入（视频/文本/音频任意组合）。实验表明，其在音频质量、语义连贯性和时序对齐方面均达到SOTA水平，8秒音频生成仅需1.91秒。