钢琴转录论文Onsets and Frames:dual-objective piano transcription

最新推荐文章于 2024-09-01 08:32:38 发布
最新推荐文章于 2024-09-01 08:32:38 发布
阅读量3.6k 收藏 7
点赞数 3
分类专栏： 深度学习 音乐信息检索 音频信号处理 文章标签： 钢琴转录 深度学习 MAPS
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Alen_1996/article/details/93648924
版权
本文介绍了Google Brain团队在2018ISMIR发表的论文，提出Onsets and Frames双目标钢琴转录方法。通过onset和framewise检测器改善音符的起始和结束，以及预测速度值，显著提升了在MAPS数据集上的转录性能。实验显示，模型在Note、Frame及Note(带offset)的F1分数上取得显著提升，并引入了note with offset的新评价指标。
摘要由CSDN通过智能技术生成

论文|Onsets and frames: dual-objective piano transcription

1.文章出处

发在2018ISMIR,来自Google Brain团队,paper链接
论文笔记放在github上了

2.文章简介

“这篇文章已经把钢琴自动转录未来五年甚至十年的工作都做完了”. 我们用程序Demo转换了一首比较复杂的钢琴曲,听到转录的结果, 于是发出了这样的感叹.

本篇论文主要解决的问题是复音钢琴自动转录,也就是将原始的钢琴演奏音频转换为MIDI表示.

这篇论文的主要方法使用了一个onset检测器和一个framewise检测器,framewise检测器的预测值收到onset检测器值的限制:只有onset检测器同意在帧中有onset的存在,framewise检测器才会预测一个新的音符.作者认为只有同时改善音符的onset和offset才符合人类对音乐的感知.作者还拓展了模型预测velocity值,使得转录的结果听起来更加自然.

在MAPS数据集的转录结果在Note,Frame,以及Note(带offset)的F1 score相较于之前的state-of-the-art都有足足一倍的提升!!

本文还提出了一个新的评价指标:note with offset

3.文章主要方法
3.1 mel-spectrograms参数

229 mel-bins, 2048 FFT Window size, 16000Hz采样率.将该频谱结果作为CNN的输入.

在这里插入图片描述

3.2 onset detector

卷积层的输出作为128 units双向LSTM的输入,LSTM后接一个88 维输出的全连接层,88维的输出表示88个钢琴key的onset概率.

3.3 framewise detector

这个检测器的构成略有不同,首先是卷积层,接一个88维输出的全连接层,这个88维的输出向量会和onset detection端的对88个钢琴key的onset预测向量concatenate成一个176维向量,再过一个88维输出的全连接层.

3.4 Loss

总的loss是由onset端和note端两个cross-entrophy组成.

在这里插入图片描述

p m i n ​ p_{min}​ pmin​​和 p m a x ​ p_{max}​ pmax​​表示MIDI的音高范围,T代表样本中有帧的数目, I o n s e t ( p , t ) ​ I_{onset}(p,t)​ I

最低0.47元/天 解锁文章
变量命名好难啊
关注
专栏目录
【视频超分】论文精读：FMA-Net: Flow-Guided Dynamic Filtering and Iterative Feature Refinement with Multi-Attent
畅游计算机视觉的海洋
04-10 3337
我们提出了一种视频超分辨率和去模糊联合学习方案，称为VSRDB，用于从模糊的低分辨率(LR)视频中恢复干净的高分辨率(HR)视频。与单一恢复问题相比，这种联合恢复问题引起了的关注要少得多。在本文中，我们提出了一种新的流引导动态滤波(FGDF)和多注意迭代特征细化(FRMA)，它构成了我们的VSRDB框架，表示为FMA-Net。具体来说，我们提出的FGDF可以通过复杂的运动表示学习精确估计时空变化退化和恢复核，这些核知道运动轨迹。与传统的动态滤波相比，FGDF使FMA-Net能够有效地处理VSRDB中的大运动
嵌入式Linux下音频开发: alsa-lib实现声音数据捕获保存与播放
09-22 3096
一、环境介绍 宿主机: Redhat6.3 (32位Linux系统) 目标开发板: 友善之臂Tiny4412 ---三星EXYNOS4412 交叉编译器: arm-linux-gcc 4.5.1 Linux内核: Linux3.5 二、下载alsa-lib库 项目主页下载地址:https://www.alsa-project.org/wiki/Main_Page FTP服务器下载地址(可下载历史版本):ftp://ftp.alsa-project.org/pub/lib/ 三、编..
MT3 音乐转录项目使用指南
gitblog_00446的博客
08-10 312
MT3 音乐转录项目使用指南 mt3MT3: Multi-Task Multitrack Music Transcription项目地址:https://gitcode.com/gh_mirrors/mt/mt3 项目介绍 MT3 是一个多乐器自动音乐转录模型，基于 T5X 框架开发。该项目由 Magenta 团队开发，旨在将音频文件转换为 MIDI 格式的乐谱。MT3 支持钢琴和多乐器转录，适...
onsets-and-frames:Pytorch实现的开始和框架（Hawthorne 2018）
05-10
PyTorch实现的起点和框架 这是Google的“模型的实现，使用进行训练，使用的Disklavier部分进行测试。 指示 这个项目是相当耗费资源的。 建议使用32 GB或更大的系统内存，以及8 GB或更大的GPU内存。 下载数据集 data子目录已包含MAPS数据库。 要下载Maestro数据集，请首先确保您具有ffmpeg可执行文件并运行prepare_maestro.sh脚本： ffmpeg -version cd data ./prepare_maestro.sh 这将从Google的服务器下载完整的Maestro数据集，并自动将其解压缩并编码为FLAC文件，以节省存储空间。 但是，您仍然需要大约200 GB的空间用于中间存储。 训练 所有软件包要求都包含在requirements.txt 。 要训​​练模型，请运行： pip install -r requirements
piano_transcription
03-17
钢琴转录 钢琴转录是将钢琴录音转录成MIDI文件的任务。 此仓库是我们提出的高分辨率钢琴转录系统的PyTorch实现[1]。 演示版 这是我们的钢琴转录系统的演示： : 环境环境 该代码库是使用Python 3.7和PyTorch 1.4.0开发的（应该与其他版本一起使用，但尚未经过全面测试）。 安装依赖项： pip install -r requirements.txt 使用预训练模型进行钢琴转录 转录新钢琴录音最简单的方法是安装piano的piano_transcription_inference软件包： : ，如下所示： pip install piano_transcription_inference 然后，执行以下命令来转录此。 from piano_transcription_inference import PianoTranscription, sample
pianotrans:带有踏板的ByteDance钢琴转录的简单GUI
05-09
带有踏板的ByteDance钢琴转录的简单GUI 是钢琴转录系统的PyTorch实施，“通过倒退起始时间和偏移时间[1]带踏板的高分辨率钢琴转录”。 使用此功能，我们可以使用踏板将钢琴录音转换成MIDI文件。 这是Windows的简单GUI和打包。 要求 操作系统：Windows 7或更高版本（64位） 内存：至少4G 仅Windows 10经过测试。 它可以在Linux，mac OS，Windows上运行，但此处仅提供Windows软件包。 如果您使用其他操作系统，请改用这些指南。 如何使用 下载 vc_redist_x64.exe和vc_redist_x64.exe并安装 下载并解压缩 关闭其他应用程序以释放内存，至少需要2G可用内存 在PianoTrans目录中运行PianoTrans.exe 选择音频文件，支持多项选择 结果MIDI文件与音频文件位于同一目录中 如
字节跳动Piano transcription钢琴转录(Windows)使用详细教程
Whitolf的博客
11-24 7273
字节跳动Piano transcription钢琴转录(Windows)使用详细教程 下载源码 打开项目仓库，并将其git clone/下载到本地文件夹 https://github.com/bytedance/piano_transcription 搭建编译环境 阅读仓库README.md 文件，发现字节跳动是用Python 3.7和Pytorch 1.4.0搭建的项目 下载地址： （1）Python 3.7: 不妨使用Python 3.7.9 https://www.python.org/do
piano_transcription_inference
05-09
钢琴转录推断 该工具箱是一个钢琴转录推理包，可以轻松安装。 安装后，用户可以将自己喜欢的钢琴录音转录为MIDI文件。 要了解如何训练钢琴转录系统，请访问： : 。 演示版 这是我们的钢琴转录系统的演示： : 安装 钢琴转录系统是使用Python 3.7和PyTorch 1.4.0开发的（应该与其他版本一起使用，但尚未经过全面测试）。 按照安装PyTorch。 用户应安装ffmpeg来转录mp3文件。 pip install piano_transcription_inference 安装完成！ 用法 是否想尝试一下，但不想安装任何东西？ 我们已经建立了一个 。 python3 example.py --audio_path='resources/cut_liszt.mp3' --output_midi_path='cut_liszt.mid' --cuda 这将从下载预训练的模
《DD-PPO: LEARNING NEAR-PERFECT POINTGOAL NAVIGATORS FROM 2.5 BILLION FRAMES》-----强化学习论文笔记
ksvtsipert的博客
08-31 9054
abstract 去中心化分布式PPO（DD-PPO) 是一种在资源密集型模拟环境中进行分布式强化学习的方法，在Hatitat-Sim上表现出近线性的扩展——通过串行在128个GPU上实现了107倍加速。 code video introduction 不同于gym和Atari, 3D simulator需要GPU加速，因此worker的数量通常有限制（252^525-282^828vs 2122^{12}212-2152^{15}215), 高维的输入和深度神经网络使parameter server紧.
MATLAB钢琴代码-piano-transcription:此Matlab代码允许将一次演奏一个音符的钢琴声音转换为钢琴卷帘，指示演奏哪个音
06-02
MATLAB 钢琴代码钢琴转录 此 Matlab 代码允许将一次演奏一个音符的钢琴声音转换为钢琴卷帘，指示演奏哪个音符以及何时演奏。
PolyphonicPianoTranscription:循环神经网络，用于从音频（MP3，WAV等）生成钢琴MIDI文件
05-06
具有循环神经网络的自动和弦钢琴转录 用于神经网络训练的IPython笔记本模板，然后使用它从音频（MP3，WAV等）生成钢琴MIDI文件。 准确性将取决于歌曲的复杂程度，并且对于独奏钢琴作品显然会更高。 更新（2021年3月） 还有另一个TensorFlow Lite格式的经过训练的Magenta模型，可以在这里下载： : 或在GitHub存储库中查找链接： : 它需要大约1秒钟的原始音频作为输入（而不是20秒钟的mel频谱图）。 在我的第五个IPython模板（“ 5 TF Lite Inference.ipynb”）中有一个使用模型的示例。 这个模型在我的Android设备上非常快，准确性仍然不错。 要查看我的Android 8.0（API级别26）或更高版本的应用，请单击以下屏幕截图： 或在Google Play上获取： 我的Windows 7或更高版本应用程序中使用了
pix2pix/maps
04-21
https://people.eecs.berkeley.edu/~tinghuiz/projects/pix2pix/datasets/
MATLAB钢琴代码-digital-piano-synthesizer-with-ADSR-:用Matlab编写的数字钢琴合成器（ADSR、
06-02
MATLAB 钢琴代码"#digital-piano-synthesizer-with-ADSR-" 这个文件包含一个 Matlab 代码，它创建了 matlab 应用程序钢琴合成器。 此文件中的按钮更改每个音符（钢琴音符）的频率。 钢琴音符基于正弦函数。 这是每个音符不同频率的链接：在此处附加的文件 .ZIP 中，您将找到一个合成器，它通过将 MIDI 文件转换为音频文件并使用我的功能“SOUNDPLAY”播放音频来播放 MIDI 文件，我使用了一个我从 PS 获取的外部库。 该库附加在 MATLABDSO.ZIP 文件中为了运行该项目：您需要：将 .ZIP 文件夹中的所有文件和子文件添加到路径中，然后您需要在命令行中写入：“appdesigner DspProject "这将打开matlab的appdesigner。 如果您有任何问题，请联系我，享受它:) 添加了音高检测，使用自动协调、高斯滤波器、FFT、零交叉以暗示钢琴音符识别。 您需要加载音频文件 (.mp3)，然后单击 .mlapp 文件右侧的播放按钮。 版权所有 (c) Winter - 2019 Sally Dabbah
【GStreamer】gstreamer工具详解之：gst-inspect-1.0
郭老二
10-29 5747
二、gst-inspect-1.0 1、简介 gst-inspect-1.0 打印插件列表、指定插件或指定元素的信息 2、命令格式： gst-inspect-1.0 [OPTION...] [PLUGIN|ELEMENT] 3、OPTION参数选项： --help --gst-info-mask=FLAGS 设置GStreamer信息标志？？ -a, --print-all 打印所有插件...
使用 Transformer 序列到序列的钢琴转录
Saisimon`s blog
07-17 1111
近年来，自动音乐转录通过在大型数据集上训练自定义深度神经网络取得了重大进展。然而这些模型需要对网络架构、输入/输出表示和复杂的解码方案进行特定领域的设计。在这项工作中，我们展示了使用具有标准解码方法的通用编码器解码器 Transformer 可以实现相同的性能。我们展示了该模型可以学习将频谱图输入直接转换为类 MIDI （MIDI-like）的输出，以用于多个转录任务。这种序列到序列的方法通过联合建模音频特征和类语言（language-like）的输出依赖关系来简化转录，从而消除对特定任务架构的需求。...
探索音乐自动转录的奥秘：PyTorch版 Onsets and Frames 项目解析与推荐
gitblog_00849的博客
08-30 525
探索音乐自动转录的奥秘：PyTorch版 Onsets and Frames 项目解析与推荐 onsets-and-framesA Pytorch implementation of Onsets and Frames (Hawthorne 2018)项目地址:https://gitcode.com/gh_mirrors/on/onsets-and-frames 在音乐科技领域，自动识别音频中的...
探索 `pianotrans`：一款创新的钢琴曲谱转换工具
gitblog_00006的博客
04-11 746
探索 pianotrans：一款创新的钢琴曲谱转换工具 项目地址:https://gitcode.com/azuwis/pianotrans 在音乐创作与学习的世界里，拥有一款能够准确、高效地处理乐谱的工具是至关重要的。今天，我们有幸向大家推荐一个开源项目——azuwis/pianotrans。这是一个基于Python编写的钢琴曲谱自动转换器，它可以帮助用户将各种格式的乐谱文件转化为方便演奏和学习...
开源项目：Onsets and Frames实战指南
最新发布
gitblog_00549的博客
09-01 595
开源项目：Onsets and Frames实战指南 onsets-and-framesA Pytorch implementation of Onsets and Frames (Hawthorne 2018)项目地址:https://gitcode.com/gh_mirrors/on/onsets-and-frames 项目介绍 Onsets and Frames 是一个基于PyTorch...
基于音频的电影摘要关键帧检测模型提升：ICAEEC-2019论文
本文档探讨了"用于电影摘要的基于音频的改进的关键帧检测模型"，针对当前多媒体内容特别是视频快速增长带来的挑战。随着视频内容的爆炸性增长，传统的浏览、检索和传输变得越来越低效。电影摘要作为一种解决方案，...
评论 13
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值