用ModelArts制作一张AIGC音乐专辑

AIGC专辑制作先从文字生成旋律开始，基于华为云ModelArts，无需考虑计算资源、环境的搭建，就算不懂代码也能用AI将简单的文字变成音乐旋律。

为了让开发者在云上直接进行AI应用的开发，ModelArts提供CodeLab的开发方式，它类似一种云上编译器，可以直连云端算力，且每天都会提供免费算力资源时长，即开即用，非常便利。（注：本文所有案例均可在CodeLab中直接开发）

本案例使用的是开源模型MusicGen，它可以根据文字描述或者已有旋律生成高质量的音乐(32kHz)，原理是通过生成Encodec token然后再解码为音频。

利用EnCodec神经音频编解码器来从原始波形中学习离散音频token。EnCodec将音频信号映射到一个或多个并行的离散token流。然后使用一个自回归语言模型来递归地对EnCodec中的音频token进行建模。生成的token然后被馈送到EnCodec解码器，将它们映射回音频空间并获取输出波形。最后，可以使用不同类型的条件模型来控制生成。

具体操作步骤如下：

第一步：准备账号， 注册华为云账号并完成实名认证，开启音乐之旅！

第二步：👉 访问页面， 点击「ModelArts中运行」按钮，进入到ModelArts CodeLab运行环境中。选择限时免费运行环境，切换所需Kernel，一键运行代码。

第三步：切换运行环境， 选择限时免费的GPU-P100规格，目前每个用户每天可以享受3小时的免费时长。然后点击代码块前面的三角形运行按钮，即可自动运行，完成模型的加载。

▲ 切换运行环境

▲ 点击三角形按钮运行代码

第四步： 依次运行完代码后，修改输入的Prompt， 比如“一首充满着梦幻和童真的歌曲”，即可生成符合提示词的音乐旋律，并支持直接下载。

▲ 修改提示词

▲点击下载生成的音乐旋律

同时，ModelArts还支持可视化的Gradio界面展示，可以将生成的页面地址分享给其他人，让他们直接填入提示词，自定义旋律的时长，快速创作一首独一无二的歌曲。

▲ 单独的可视化界面

二、✍️AI作诗，为旋律作词

古有曹植七步成诗，今有AI自动作诗。参考“文字生成旋律案例”的步骤，👉 点击链接 选择在ModelArts中运行，进入到ModelArts CodeLab环境，然后切换资源规格，依次运行代码，并在下图的画框处填写诗句的第一个字，3秒钟就能生成相关的诗句。

三、🎨AI作画，为音乐制作专辑封面

最后是专辑封面环节，👉 点击链接 进入“AI作画-文字生成图片Stable Diffusion”案例页面，选择在ModelArts中运行，进入ModelArts CodeLab，将运行环境切换成GPU的规格，模型生成图像所用的时间会更短。

这个案例主要基于文本转图像模型Stable Diffusion来实现，它通过LAION-5B子集大量的512x512图文模型进行训练，所以只要简单的输入一段文本，Stable Diffusion就可以迅速将其转换为图像。

同之前的两个案例，依次运行代码，在Prompt的划线处填写与音乐旋律相匹配的提示词，建议先用中文描述，再用翻译软件转换为英文，这样生成的图片会更加精准。