CoDi是一种多模态联合视频生成的大模型，通过桥接对齐和潜在对齐策略，实现了从任何输入模态生成语言、图像、视频或音频等输出模态的能力。它通过单个扩散模型的训练和跨模态环境编码器的对齐，解决了数据和计算资源的挑战，允许灵活、同步的多模态生成。这种方法减少了训练目标，使得生成任何模态组合成为可能。
前言：目前视频生成的大部分工作都是只能生成无声音的视频，距离真正可用的视频还有不小的差距。CoDi提出了一种并行多模态生成的大模型，可以同时生成带有音频的视频，距离真正的视频生成更近了一步。相信在不远的将来，可以AI生成的模型可以无缝平替抖音等平台的短视频。这篇博客详细解读一下这篇论文《Any-to-Any Generation via Composable Diffusion》。
目录
能够从输入模态的任何组合中生成语言、图像、视频或音频等输出模态的任何组合，CoDi 可以并行生成多种模式，其输
1万+
2357
1万+
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
超级会员免费看
订阅专栏 解锁全文
扫一扫
