应用实践之基于MindNLP+MusicGen生成自己的个性化音乐

前言

MusicGen是基于单个语言模型（LM）的音乐生成模型，使用文本描述或音频提示生成高质量的音乐样本。它基于Transformer结构，包括文本编码器模型和音频压缩模型，以及一个解码器来预测离散的隐形状态音频token。与传统方法不同，MusicGen采用单个stage的Transformer LM结合高效的 token 交织模式，取消了多层级的多个模型结构，使得其能够生成高质量音乐样本，并提供更好的生成输出控制。

下载模型

生成音乐

MusicGen支持两种生成模式：贪心（greedy）和采样（sampling）。在实际执行过程中，采样模式得到的结果要显著优于贪心模式。因此我们默认启用采样模式，并且可以在调用MusicgenForConditionalGeneration.generate时设置do_sample=True来显式指定使用采样模式。

%%time
unconditional_inputs = model.get_unconditional_inputs(num_samples=1)

audio_values = model.generate(**unconditional_inputs, do_sample=True, max_new_tokens=256)

文本提示生成

首先，使用AutoProcessor对输入进行预处理。然后，将预处理后的输入传递给.generate方法生成文本条件音频样本，启用采样模式。guidance_scale用于控制生成模型与输入文本的紧密程度，设置条件对数和无条件对数之间的权重。通过设置guidance_scale>1来启用CFG，最佳效果是使用guidance_scale=3生成文本提示音频。

%%time
from mindnlp.transformers import AutoProcessor

processor = AutoProcessor.from_pretrained("facebook/musicgen-small")

inputs = processor(
    text=["80s pop track with bassy drums and synth", "90s rock song with loud guitars and heavy drums"],
    padding=True,
    return_tensors="ms",
)

audio_values = model.generate(**inputs, do_sample=True, guidance_scale=3, max_new_tokens=256)

生成配置

如何在模型的生成配置中找到并更新控制生成过程的默认参数，例如采样、指导比例和生成的令牌数量。

总结

MusicGen采用单个stage的Transformer语言模型架构,提供更好的生成输出控制,不仅能生成符合文本描述的音乐,还能通过旋律条件控制音调结构。