《昇思25天学习打卡营第10天|基于MindNLP+MusicGen生成自己的个性化音乐》

---

一、MusicGen介绍

MusicGen是来自Meta AI的Jade Copet等人提出的基于单个语言模型（LM）的音乐生成模型，能够根据文本描述或音频提示生成高质量的音乐样本，相关研究成果参考论文《Simple and Controllable Music Generation》。

MusicGen模型基于Transformer结构，可以分解为三个不同的阶段:

用户输入的文本描述作为输入传递给一个固定的文本编码器模型，以获得一系列隐形状态表示。
训练MusicGen解码器来预测离散的隐形状态音频token。
对这些音频token使用音频压缩模型（如EnCodec）进行解码，以恢复音频波形。
MusicGen直接使用谷歌的t5-base及其权重作为文本编码器模型，并使用EnCodec 32kHz及其权重作为音频压缩模型。MusicGen解码器是一个语言模型架构，针对音乐生成任务从零开始进行训练。

MusicGen 模型的新颖之处在于音频代码的预测方式。传统上，每个码本都必须由一个单独的模型（即分层）或通过不断优化 Transformer 模型的输出（即上采样）进行预测。与传统方法不同，MusicGen采用单个stage的Transformer LM结合高效的token交织模式，取消了多层级的多个模型结构，例如分层或上采样，这使得MusicGen能够生成单声道和立体声的高质量音乐样本，同时提供更好的生成输出控制。MusicGen不仅能够生成符合文本描述的音乐，还能够通过旋律条件控制生成的音调结构。

二、实验步骤

1.下载模型

MusicGen提供了small、medium和big三种规格的预训练权重文件，本次指南默认使用small规格的权重，生成的音频质量较低，但是生成的速度是最快的：

以上为配置实验环境。使用mindnlp的transformers库下的from_pretrained()函数，根据预训练模型的名称或路径创建配置对象。预训练模型的配置包含了关于模型架构、超参数和其他重要信息的设置。

2.生成音乐

MusicGen支持两种生成模式：贪心（greedy）和采样（sampling）。在实际执行过程中，采样模式得到的结果要显著优于贪心模式。因此我们默认启用采样模式，并且可以在调用MusicgenForConditionalGeneration.generate时设置do_sample=True来显式指定使用采样模式。

无提示生成

我们可以通过方法 MusicgenForConditionalGeneration.get_unconditional_inputs 获得网络的随机输入，然后使用 .generate 方法进行自回归生成，指定 do_sample=True 来启用采样模式:

文本提示生成

首先基于文本提示，通过AutoProcessor对输入进行预处理。然后将预处理后的输入传递给 .generate 方法以生成文本条件音频样本。同样，我们通过设置“do_sample=True”来启用采样模式。
其中，guidance_scale 用于无分类器指导（CFG），设置条件对数之间的权重（从文本提示中预测）和无条件对数（从无条件或空文本中预测）。guidance_scale越高表示生成的模型与输入的文本更加紧密。通过设置guidance_scale > 1来启用 CFG。为获得最佳效果，使用guidance_scale=3（默认值）生成文本提示音频。

音频提示生成

AutoProcessor同样可以对用于音频预测的音频提示进行预处理。在以下示例中，我们首先加载音频文件，然后进行预处理，并将输入给到网络模型来进行音频生成。最后，我们将生成出来的音频文件保存为musicgen_out_audio.wav

为了演示批量音频提示生成，我们将按两个不同的比例对样本音频进行切片，以提供两个不同长度的音频样本。由于输入音频提示的长度各不相同，因此在传递到模型之前，它们将被填充到批处理中最长的音频样本的长度。

要恢复最终音频样本，可以对生成的audio_values进行后处理，以再次使用处理器类删除填充：

3、生成配置

控制生成过程的默认参数（例如采样、指导比例和生成的令牌数量）可以在模型的生成配置中找到，并根据需要进行更新。首先，我们检查默认的生成配置：

我们看到模型默认使用采样模式 （do_sample=True），指导刻度为 3，最大生成长度为 1500（相当于 30 秒的音频）。你可以更新以下任一属性以更改默认生成参数：

现在重新运行生成将使用生成配置中新定义的值

总结心得

本节主要学会如何使用mindnlp的transformers库来结合预训练权重实现生成自己的个性化音乐，对MusicGen有大致认知。熟悉使用transformers基本的流程，重要的是能够根据流程来拓展到其他的任务上。

打卡