Music Transformer pytorch代码

最新推荐文章于 2024-06-08 09:45:44 发布
最新推荐文章于 2024-06-08 09:45:44 发布
阅读量951 收藏 7
点赞数
分类专栏： music generation 文章标签： python 深度学习 pytorch
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_42155801/article/details/117430107
版权

小菜鸡的记录，如有错误，请指出。
理论部分：https://blog.csdn.net/Alen_1996/article/details/102816336
代码地址：https://github.com/jason9693/MusicTransformer-pytorch

0.配置环境
pip install pretty_midi
pip install tensorboardX
pip install progress

1.Repository setting
$ git clone https://github.com/jason9693/MusicTransformer-pytorch.git
$ cd MusicTransformer-pytorch
$ git clone https://github.com/jason9693/midi-neural-processor.git
$ mv midi-neural-processor midi_processor

2.下载midi
下载Performance-RNN中的数据集：首先下载dataset文件夹上传至服务器，可以看到里面包含4个.sh文件
$ sh dataset/script/ecomp_piano_downloader.sh
以下报错：
在这里插入图片描述
去网上搜了各种方法都不能解决，请教师姐，师姐把当初下数据集的记录发给我，我试了一下师姐用的方法，也不对，但是从中找到了尝试的方向—代码中给的数据集地址是错的，因此更改的数据集地址，但还是报错，
然后尝试直接用wget+网址下载，下载的文件是asp而不是midi文件；
然后就尝试其他的下载命令+ ecomp_piano_downloader.sh 最后成功下载的命令如下：
bash ecomp_piano_downloader.sh piano-e-Competition
sh dataset/scripts/classic_piano_downloader.sh JSB-Chorales-dataset

3.对数据进行预处理：
CUDA_VISIBLE_DEVICES=4 python preprocess.py piano-e-competition piano-e-competition-pre

4.训练模型：
CUDA_VISIBLE_DEVICES=6 python train.py -c config/base.yml config/train_ddp.yml config/large_dpc.yml -m model
报错： ![在这里插入图片描述](https://img-blog.csdnimg.cn/20210531212214256.png在这里插入图片描述
经了解，FullLoader 属性是在pyyaml5.1及以上版本中才有的。
显示我已安装了5.3.1的版本，但是进入python解释器后发现是3.13的
尝试删掉原有版本，下载新版本：
pip3 uninstall pyyaml
报错：
在这里插入图片描述
尝试更新版本：
pip install -U PyYAML
报错：
![在这里插入图片描述](https://img-blog.csdnimg.cn/2021053121224083.png在这里插入图片描述
成功解决办法：
pip install --ignore-installed PyYAML
在这里插入图片描述
再次输入，输出模型，但是显示class Data has “0” files
![在这里插入图片描述](https://img-blog.csdnimg.cn/20210531212349369.png在这里插入图片描述

原因：数据集没有加进去，查看配置文件中的train. yml中定义的路径不是我现在存放数据集的路径，因此更改为数据集路径。
在这里插入图片描述
重新输入训练命令：CUDA_VISIBLE_DEVICES=4 python train.py -c config/base.yml config/train_ddp.yml -m model
可以开始训练，但是报错：
RuntimeError: CUDA out of memory. Tried to allocate 512.00 MiB (GPU 0; 10.76 GiB total capacity; 9.35 GiB already allocated; 43.44 MiB free; 9.61 GiB reserved in total by PyTorch)
在这里插入图片描述
在这里插入图片描述
![在这里插入图片描述](https://img-blog.csdnimg.cn/2021053121353487.png在这里插入图片描述
分析：这种问题，是GPU内存不够引起的
方法：将batch_size从8改为2，embedding_dim从512改为256.即使用配置的config/train_ddp.yml更换为config/debug_train.yml
CUDA_VISIBLE_DEVICES=6 python train.py -c config/base.yml config/ debug_train.yml -m model
在这里插入图片描述
因效果不好，batch_size=4，将embedding_dim改为256，
CUDA_VISIBLE_DEVICES=6 python train.py -c config/base.yml config/train_ddp.yml -m model
在这里插入图片描述

5.生成
输入命令：CUDA_VISIBLE_DEVICES=4 python generate.py -c config/generate.yml -m model（服务器）
run generate.py -m model -c config/generate.yml
（根据所需，选择配置环境）

人工智能菜鸡
关注
  • 0
    点赞
  • 踩
  • 7
    收藏
    觉得还不错? 一键收藏
  • 7
    评论
专栏目录
music transformer：generating music with long-term structure
慢慢变强大
07-09 4395
1.Motivation 音乐作品在结构和意义上有大量的重复，这种自相关性体现在多重时间尺度上，从主体到乐句上都重复使用整段的音乐章节，比如说在音乐片段中的ABA结构。 使用self-attention机制的transformer模型在机器翻译这类需要保持sequence很长连贯性的任务上取得巨大成功，这表明或许transformer很适合构建音乐生成和音乐表现，当然，相对的timing对音乐来...
PVT transformer pytorch代码
04-14
PVT transformer pytorch代码
MusicTransformer-pytorch:pytorch实现音乐变压器（ICLR2019）
05-03
音乐变形金刚：生成具有长期结构的音乐 2019 ICLR，黄承志，Google Brain 转载人：杨基昌 抽象的 该存储库与pytorch完美搭配 贡献 域：极大地减少了内存占用，使其可以按分钟顺序扩展到音乐序列。 算法：将变压器的空间复杂度从O（N ^ 2D）降低到O（ND）。 前处理 在此存储库中，使用单轨方法（论文中的第二种方法）。 如果要获取方法1的实现，请参见。 我从引用了预处理代码 。 预处理实现存储库在。 简单启动（存储库设置） $ git clone https://github.com/jason9693/MusicTransformer-pytorch.git $ cd MusicTransformer-pytorch $ git clone https://github.com/jason9693/midi-neural-processor.git $
wavenet-generate-music:实施wavenet以通过pytorch生成音乐
04-27
快速波网 通过pytorch实现快速波网 产生音乐的Wavenet 的模型火车 超参数是： 膨胀= [2 ** i对于范围（11）中的i] * 4 剩余频道= 128 跳过频道= 512 采样率= 8000 样本数量= 16000 超参数是： 膨胀= [2 ** i对于范围（10）中的i] * 4 剩余频道= 128 跳过频道= 512 采样率= 8000 样本数量= 16000
探秘音乐的未来：Music Transformer——用深度学习创作旋律
最新发布
gitblog_00053的博客
06-08 334
探秘音乐的未来：Music Transformer——用深度学习创作旋律 项目地址:https://gitcode.com/jason9693/MusicTransformer-tensorflow2.0 在这个数字化的时代，人工智能已经渗透到我们生活的方方面面，包括音乐创作。今天，我要向你推荐一个令人惊叹的开源项目——Music Transformer，这是一个基于TensorFlow 2.0框...
MusicTransformer-tensorflow2.0:tensorflow-2.0实现音乐转换器（ICLR2019）
05-03
音乐变形金刚：生成具有长期结构的音乐 2019 ICLR，黄承志，Google Brain 转载人：杨基昌 抽象的 该存储库与tensorflow 2.0完全兼容 如果要使用pytorch版本，请参见 贡献 域：极大地减少了内存占用，使其可以按分钟顺序扩展到音乐序列。 算法：将变压器的空间复杂度从O（N ^ 2D）降低到O（ND）。 前处理 在此存储库中，使用单轨方法（论文中的第二种方法）。 如果要获取方法1的实现，请参见。 我从引用了预处理代码 。 预处理实现存储库在。 储存库设定 $ git clone https://github.com/jason9693/MusicTransformer-tensorflow2.0.git $ cd MusicTransformer-tensorflow2.0 $ git clone https://github.com/jason96
【DL】第 7 章 ：用于音乐生成的Transformers和 MuseGAN
sikh_0529的博客
03-08 2544
喜欢与所有 GAN 相比，MuseGAN 由一个生成器和一个评论家组成。生成器试图用它的音乐创作来愚弄评论家，而评论家则试图通过确保它能够分辨出生成器伪造的巴赫合唱曲与真实作品之间的区别来防止这种情况发生。MuseGAN 的不同之处在于，生成器不仅接受单个噪声向量作为输入，而是有四个独立的输入，对应于故事中管弦乐队的四个部分——和弦、风格、旋律和槽。通过独立操作这些输入中的每一个，我们可以更改生成音乐的高级属性。图7.14 显示了生成器的高级视图。图7.14 MuseGAN 生成器的高级图。
Transformer Pytorch代码解读.pptx
07-20
PyTorch是一个流行的深度学习框架，提供了实现Transformer的便利工具。 在PyTorch中，Transformer通常由编码器（Encoder）和解码器（Decoder）两部分组成，这两个部分都是由多个相同的块（Block）堆叠而成。每个...
swin_transformer pytorch代码
04-19
《Swin Transformer在PyTorch中的实现》 Swin Transformer是一种新型的Transformer架构，由华中科技大学的研究团队提出，主要用于计算机视觉任务，特别是在图像分类、目标检测和语义分割等领域表现出色。它解决了...
pytorch transformer notebook 源代码
04-19
pytorch transformer notebook 源代码
swin-transformer-pytorch:PyTorch中Swin变压器的实现
04-01
Swin变形金刚-PyTorch 体系结构的实现。 本文介绍了一种称为Swin Transformer的新型视觉变形金刚，它可以用作计算机视觉的通用骨干。 在两个领域之间的差异，例如视觉实体规模的巨大差异以及与文字中的单词相比，...
listen-to-transformer:一个应用程序，可以更轻松地探索和管理 Music Transformer 的输出
05-30
听变形金刚 是来自谷歌研究小组的开源机器学习模型，可以生成具有某种长期结构的音乐表演。 我们发现查看这些模型可以做什么和不能做什么很有趣，因此我们制作了这个应用程序，以便更轻松地探索和管理模型的输出。 您可以在宣布该模型的发表它的或有关此应用程序的阅读有关该模型的更多信息。 在本地运行 克隆这个 repo，启动你最喜欢的本地开发服务器并在浏览器中导航到index.html 。 如果你没有在本地运行的 web 服务器（比如http-server ）（或者不知道这意味着什么），那么你可以安装这个项目的开发依赖项并运行start命令： git clone https://github.com/magenta/listen-to-transformer cd listen-to-transformer npm install npm start # Then navigate to ht
matlab中洋红色代码-music-transformer:用于数据集预处理的实用程序和脚本，以及用于音乐转换器的shell工具
06-12
matlab中洋红色代码品红 我的第一个建议是转到页面并查看架构。 要开始，请阅读联机帮助页并查看 .py 文件，该文件在给定训练有素的 Onsets 模型的情况下实际进行转录。 我强烈建议阅读原始论文，然后阅读前两篇（转录和生成）的论文。 是最后一块，也是我们如何合成变压器模型的 MIDI 输出，使其听起来像一架原声钢琴。 为了将它们联系在一起，本文展示了我遵循的整体架构。 这是一个很好的 . 我还建议您从总体上引起注意，从 和 的原始论文到一些可视化过程的优秀博客，以及 。 从那里研究 tensor2tensor 中的转换器代码库以及洋红色音乐转换器（称为 ）可能会有所帮助。 大部分令人头痛的问题是使用 Google Cloud 和 Apache beam 预处理数据，. 同样，这些自述文件（在 Magenta 方面）将非常有用。 不幸的是，没有一个完整的代码库可以给你，我基本上为自己编写了一些脚本，并在终端上做了很多工作，使用预训练的 onsets 模型来创建我自己的数据集，策划它，然后训练了几个 Transformer 模型。 我必须提供给您的大部分代码用于在训练模型后分析和绘
山东大学项目实训十六——可控音乐变压器Controllable Music Transformer
fangjiayou的博客
05-27 576
人脸验证与二分类-深度学习第四课《卷积神经网络》-S________________________________________ 人脸验证与二分类 (Face Verification and Binary Classification) Triplet loss是一个学习人脸识别卷积网络参数的好方法，还有其他学习参数的方法，让我们看看如何将人脸识别当成一个二分类问题。 另一个训练神经网络的方法是选取一对神经网络，选取Siamese网络，使其同时计算这些嵌入，比如说128维的嵌入（编号1），或者更高维，
Python用100行代码实现music installer（带GUI）
weixin_64670512的博客
11-25 349
Python用100行代码实现音乐下载器（带GUI）
计算机视觉与音乐,Transformer又又来了，生成配有音乐的丝滑3D舞蹈，开放最大规模数据集AIST++...
weixin_39913807的博客
07-02 577
出自论文：Learn to Dance with AIST++: Music Conditioned 3D Dance Generation 来自谷歌等单位的学者提出一个基于 transformer 的学习框架，用于以音乐为条件的3D舞蹈生成。设计了一个全新的网络框架，并验证得出获得高质量结果的关键。其中组件之一是深度跨模态 transformer，可以很好地学习音乐和舞蹈运动之间的相关性，并且...
初识Transformer
MusicDancing的博客
11-04 449
参考：【NLP】Transformer模型原理详解 - 知乎 Attention机制提出后，加入attention的Seq2seq模型在各个任务上都有了提升，所以现在的seq2seq模型指的都是结合RNN和attention的模型。之后google又提出了解决Seq2Seq问题的Transformer模型，用全attention的结构代替了lstm，在翻译任务上取得了更好的成绩。 Attention原理： NLP中的Attention原理和源码解析 - 知乎 Tensorflow版B...
Transformer源码详解（Pytorch版本）逐行讲解
热门推荐
Queen_sy的博客
11-01 1万+
下面的PAD表示填充，填充就是当句子长度不满足max_len时候，会填充pad。## 这里有两个数据进行输入，一个是enc_inputs 形状为[batch_size, src_len]，主要是作为编码段的输入，一个dec_inputs，形状为[batch_size, tgt_len]，主要是作为解码端的输入。一定需要注意的是这里得到的矩阵形状是batch_size x len_q x len_k，我们是对k中的pad符号进行标识，并没有对q中的做标识，因为没必要（尚未理解，有理解的小伙伴评论私信奥）
transformer pytorch代码
05-21
Transformer是一种用于序列到序列（seq2seq）模型的神经网络架构，最初用于机器翻译任务。它由Google在2017年提出并被广泛应用于自然语言处理任务中，如文本分类、机器翻译、对话生成等。PyTorch是一种基于Python的开源机器学习框架，因其易用性和灵活性而备受欢迎。 在PyTorch中，可以使用torch.nn.Transformer模块实现Transformer模型，具体代码实现可以参考以下步骤： 1. 安装PyTorch库 ```python pip install torch ``` 2. 导入相关库和模块 ```python import torch import torch.nn as nn from torch.nn import TransformerEncoder, TransformerEncoderLayer ``` 3. 构建TransformerEncoderLayer和TransformerEncoder ```python class TransformerModel(nn.Module): def __init__(self, ntoken, ninp, nhead, nhid, nlayers, dropout=0.5): super(TransformerModel, self).__init__() self.model_type = 'Transformer' self.src_mask = None self.pos_encoder = PositionalEncoding(ninp, dropout) encoder_layers = TransformerEncoderLayer(ninp, nhead, nhid, dropout) self.transformer_encoder = TransformerEncoder(encoder_layers, nlayers) self.encoder = nn.Embedding(ntoken, ninp) self.ninp = ninp self.decoder = nn.Linear(ninp, ntoken) def _generate_square_subsequent_mask(self, sz): mask = (torch.triu(torch.ones(sz, sz)) == 1).transpose(0, 1) mask = mask.float().masked_fill(mask == 0, float('-inf')).masked_fill(mask == 1, float(0.0)) return mask def forward(self, src): if self.src_mask is None or self.src_mask.size(0) != len(src): device = src.device mask = self._generate_square_subsequent_mask(len(src)).to(device) self.src_mask = mask src = self.encoder(src) * math.sqrt(self.ninp) src = self.pos_encoder(src) output = self.transformer_encoder(src, self.src_mask) output = self.decoder(output) return output ``` 以上是一个简单的Transformer模型的实现，其中包括了多个层。 TransformerEncoderLayer和TransformerEncoder是其中两个主要的层。 TransformerEncoderLayer使用多头注意力机制和前馈网络来处理输入序列。 TransformerEncoder将多个TransformerEncoderLayer层堆叠在一起来增加模型的深度。 以上就是一个简单的Transformer模型的PyTorch代码实现，如果有任何疑问或需要进一步了解，欢迎继续提问。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 7
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值