Brain2Music——根据大脑信息自动生成音乐

概述

这项研究由谷歌、大阪大学和其他机构合作进行，开发出了 “基于大脑活动生成音乐的模型”–Brain2Music。生成的音乐可在以下 GitHub 页面上聆听。

源码地址：https://google-research.github.io/seanet/brain2music/
论文地址：https://arxiv.org/abs/2301.11325

具体来说，该技术利用 fMRI（功能磁共振成像）测量 “听音乐的受试者的大脑活动”，并利用大脑活动数据生成音乐。这项研究很可能成为未来开发可输出想象旋律的模型以及大脑如何解读音乐的垫脚石。

MusicLM 概览

MusicLM 是一个文本到音乐模型，它将此类文本作为输入，并根据该文本生成音乐。例如，如果您输入 "小提琴独奏嘻哈歌曲 "的提示，如下图所示，它将生成 "小提琴独奏嘻哈歌曲 "的音乐。

MusicLM 生成音乐的步骤如下

1. 沐兰音乐编码器生成的MT
2. 在MT的限制下，