研究人员的AI技术能够实时匹配活页乐谱与MIDI音频

正文字数：1165  阅读时长：2分钟

音乐AI技术正在快速发展。

作者 / Kyle Wiggers

原文链接 / https://venturebeat.com/2020/07/22/researchers-ai-aligns-sheet-music-with-midi-audio/

在预印平台Arxiv.org上发布的一项研究中，约翰内斯·开普勒大学林茨计算感知研究所和奥地利人工智能研究所的研究人员介绍了一个可以预测活页乐谱中和目标录音匹配度最高的的位置的AI系统。表面上，其对齐精度高于当前基于图像的最新乐谱追踪器。

乐谱追踪技术是很多应用程序的基础。这些应用包括自动伴奏、翻页以及将现场表演与可视化图像同步等等。现有的系统要么依赖于固定长短的小片段乐谱图像，要么需要光学音乐识别技术所提取出的计算机可读的乐谱。但是这些研究人员的AI系统可以以独特的方式观察整页乐谱，从而从头到尾地追踪任意长度的音乐表演。

这个研究团队将乐谱追踪当作一种图像分割任务。根据特定时间的某个音乐表演，他们的系统针对当前正在播放的音乐相对应的乐谱预测分段蒙版（即小片段）。研究人员说，仅仅利用固定大小音频输入的乐谱追踪器无法在超过特定环境的情况下区分重复的音符，然而他们提出的AI系统在处理较长时间的乐谱时都不会有问题。

在实验过程中，研究人员们从多模型乐谱数据集（MSMD&#x