探索声音的新维度:SoundStorm - 高效并行音频生成器
项目介绍
SoundStorm 是一项来自 Google Research 的前沿研究项目,它引入了一种新颖的平行音频生成方法。这个开源实现基于 Pytorch,并且已经在持续更新中,以保持与原始论文的一致性。项目的核心是一个利用掩模基元离散扩散的模型,它能够从语义令牌出发,预测出所有声学令牌,从而高效地生成音频。
项目技术分析
SoundStorm 使用 HuBERT 提取音频的语义信息,将这些信息作为条件输入到模型中,用于并行预测各个声学令牌。不同于原始 SoundStorm 中的求和操作来结合多个码本,此实现采用了一个浅层 UNET 结构进行融合,提供了更优的结果。此外,项目采用了开源的 AcademiCodec 作为音频编解码器,以保证高质量的音频输出。
应用场景
SoundStorm 可广泛应用于各种领域,包括但不限于:
- 语音合成:快速生成自然流畅的人声,可用于虚拟助手、有声书等。
- 音乐创作:并行生成复杂的音频序列,为音乐制作提供新的工具。
- 音频编辑:高效编辑和修饰音频,适用于电影、游戏和广告制作。
- 数据增强:在训练音频识别或处理模型时,可大规模生成多样化的音频样本。
项目特点
- 高效并行:通过并行生成声学令牌,大大提高了音频合成的速度。
- 语义控制:利用 HuBERT 提取的语义信息指导音频生成,确保生成内容的准确性。
- 灵活融合:独特的码本融合机制(浅层 UNET)允许模型更好地处理多源信息。
- 开放源代码:整个项目完全开源,方便开发者研究、定制和扩展。
为了开始使用 SoundStorm,您需要准备相应的数据集,并按照项目提供的 start/start.sh
脚本进行训练。对于推理阶段,只需调整 evaluation/generate_samples_batch.py
文件以适应您的模型即可。
不要错过这个创新的声音生成工具,探索 SoundStorm 带来的无限可能性,现在就加入这个激动人心的旅程吧!
引用文献
@article{yang2023instructtts,
title={InstructTTS: Modelling Expressive TTS in Discrete Latent Space with Natural Language Style Prompt},
author={Yang, Dongchao and Liu, Songxiang and Huang, Rongjie and Lei, Guangzhi and Weng, Chao and Meng, Helen and Yu, Dong},
journal={arXiv preprint arXiv:2301.13662},
year={2023}
}
@article{google_soundstorm,
title={SoundStorm: Efficient Parallel Audio Generation},
author={Zalán Borsos, Matt Sharifi, Damien Vincent, Eugene Kharitonov, Neil Zeghidour, Marco Tagliasacchi},
journal={arXiv preprint arXiv:2305},
year={2023}
}
@article{yang2023hifi,
title={HiFi-Codec: Group-residual Vector quantization for High Fidelity Audio Codec},
author={Yang, Dongchao and Liu, Songxiang and Huang, Rongjie and Tian, Jinchuan and Weng, Chao and Zou, Yuexian},
journal={arXiv preprint arXiv:2305.02765},
year={2023}
}