谷歌的 MusicLM：文本生成的音乐，而且好得离谱。

文本转音乐：AI 正在改变音乐创作方式

近年来，扩散模型在生成视觉内容方面取得了突破性进展，其中文本转图像的生成能力尤其突出。甚至可以将生成的声谱图转换为音频，创造出可理解的音乐。Refusion 就是一个例子，它基于 Stable Diffusion，经过声谱图的微调，实现了文本转音乐的功能，效果令人惊叹。

与此同时，另一个名为 Mewbert 的文本转音乐服务也备受关注。Mewbert 的内部机制尚不明确，但其演示表明，它可以通过文本提示生成音乐，但并非通过神经网络合成，而是由算法组合而成。这种方式保证了一定的音质，但也限制了生成复杂或独特音乐的能力。

近期，谷歌发布了 MusicLM，一款基于文本生成音乐的模型，它不依赖扩散模型，而是基于去年发布的 AudioLM 技术。AudioLM 专注于合成高保真音频，而 MusicLM 利用这项技术实现了文本转音乐的功能。MusicLM 的音乐生成效果令人印象深刻，不仅音质高，而且对文本提示的忠实度也令人惊叹。尽管仍然存在一些不连贯和静态噪音，但 MusicLM 能够生成 24kHz 的音乐，并保持数分钟的连贯性。

除了文本转音乐，MusicLM 还具备类似于扩散模型的图像转图像和图像修复功能。它可以通过对音频片段（例如哼唱）进行条件化，并使用文本提示来改变风格，例如将哼唱转换为吉他演奏。MusicLM 甚至可以将“一闪一闪亮晶晶”的钢琴曲转换为爵士风格。

此外，MusicLM 还提供故事模式，可以根据文本故事生成音乐，进一步扩展了音乐创作的可能性。MusicLM 的出现，标志着文本转音乐领域取得了重大进展，为音乐创作带来了全新的可能性。

谷歌的 MusicLM 使用 AudioLM 可能刚刚改变了整个文本到音乐 AI 的格局。无需使用任何扩散，MusicLM 创造了极其高（24kHz）的音频质量，并具有始终如一的结果，让我惊掉了下巴。这可能是第一个真正有效且直接的文本到音乐模型，它准确且完全合成。2023 年开局很棒。现在我只是晚了一天发布这个视频，因为我花了最后 10 个小时制作它，请点赞和订阅 ♡Riffusion：Riff + Diffusion[项目页面] https://www.riffusion.com/about[代码] https://github.com/riffusion/riffusion-app[模型检查点] https://huggingface.co/riffusion/riffusion-model-v1Mubert-Text-to-Music[网站] https://mubert.com/[GitHub] https://github.com/MubertAI/Mubert-Text-to-MusicMusicLM：从文本生成音乐[论文] https://arxiv.org/abs/2301.11325[项目页面] https://google-research.github.io/seanet/musiclm/examples/MusicCaps：5.5k 由音乐家撰写的高质量音乐字幕[数据集] https://www.kaggle.com/datasets/googleai/musiccaps