MMAudio：开源 AI 音频合成项目，根据视频或文本生成同步的音频

❤️ 如果你也关注 AI 的发展现状，且对 AI 应用开发非常感兴趣，我会每日跟你分享最新的 AI 资讯和开源应用，也会不定期分享自己的想法和开源实例，欢迎关注我哦！

🥦 微信公众号｜搜一搜：蚝油菜花 🥦

---

🚀 快速阅读

1. 技术背景：MMAudio 基于多模态联合训练，支持视频和文本输入，生成高质量音频。
2. 主要功能：包括视频到音频合成、文本到音频合成，以及多模态联合训练。
3. 应用场景：适用于影视制作、游戏开发、虚拟现实等领域，提升音频合成的效率和质量。

正文（附运行示例）

MMAudio 是什么

MMAudio 是一种先进的视频到音频合成技术，基于多模态联合训练，能够在广泛的视听和音频文本数据集上进行训练。其核心技术是同步模块，确保生成的音频与视频帧精确匹配，实现高度同步。

MMAudio 不仅适用于影视制作和游戏开发，还可以根据视频内容或文本描述生成相应的音频，极大地提升了用户体验。

MMAudio 的主要功能

• 视频到音频合成：根据视频内容生成相应的音频，确保视频和音频同步。
• 文本到音频合成：根据文本描述生成匹配的音频，适用于不需要视频素材的场景。
• 多模态联合训练：支持在包含音频、视频和文本的数据集上进行训练，提升模型对不同模态数据的理解和生成能力。
• 同步模块：确保生成的音频与视频帧或文本描述精确对齐。

MMAudio 的技术原理

• 深度学习：基于深度学习技术，特别是神经网络，理解和生成音频数据。
• 多模态输入处理：模型能够处理视频和文本输入，通过深度学习网络提取特征，进行音频合成。
• 联合训练：模型在训练时考虑音频、视频和文本数据，使生成的音频能够与视频和文本内容相匹配。
• 同步机制：通过同步模块，确保音频输出与视频帧或文本描述的时间轴完全对应，实现同步。
• 数据集适配：MMAudio 能够在多种数据集上进行训练，包括音频-视频和音频-文本数据集，增强模型的泛化能力。

如何运行 MMAudio

安装 MMAudio

1. 安装依赖：

pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118 --upgrade
conda install -c conda-forge 'ffmpeg<7'

2. 克隆仓库：

git clone https://github.com/hkchengrex/MMAudio.git
cd MMAudio
pip install -e .

运行示例

命令行接口

使用 demo.py 进行视频到音频合成：

python demo.py --duration=8 --video=<path to video> --prompt "your prompt"

输出将以 .flac 和 .mp4 格式保存在 ./output 目录下。

Gradio 接口

使用 Gradio 进行视频到音频和文本到音频合成：

python gradio_demo.py

资源

• 项目官网：https://hkchengrex.com/MMAudio
• GitHub 仓库：https://github.com/hkchengrex/MMAudio
• 在线体验 Demo：https://huggingface.co/spaces/hkchengrex/MMAudio

---

❤️ 如果你也关注 AI 的发展现状，且对 AI 应用开发非常感兴趣，我会每日跟你分享最新的 AI 资讯和开源应用，也会不定期分享自己的想法和开源实例，欢迎关注我哦！

🥦 微信公众号｜搜一搜：蚝油菜花 🥦