facebook文本生成音乐项目-audiocraft 安装教程

已于 2023-06-15 21:57:49 修改
阅读量2.7k 收藏 9
点赞数 4
文章标签： ffmpeg audiocraft安装教程 文本生成音乐 AI
于 2023-06-14 23:30:04 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_40660408/article/details/131198526
版权

文章目录

所需环境

  • ffmpeg
  • python>=3.9
  • git
  • cuda118（torch>=2.0）

安装ffmpeg

下载地址
在这里插入图片描述
下载后解压，然后将解压后的目录配置到系统PATH环境变量中
在这里插入图片描述
在这里插入图片描述
打开cmd，运行命令ffmpeg -version查看是否安装成功
在这里插入图片描述

克隆项目仓库

git clone https://github.com/facebookresearch/audiocraft.git

安装相关依赖库

# 进入到项目所在目录下，创建python虚拟环境
PS D:\AI\audio\audiocraft> python -m venv venv

# 激活python虚拟环境
PS D:\AI\audio\audiocraft> .\venv\Scripts\activate

# 安装torch
(venv) PS D:\AI\audio\audiocraft> pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118

# 安装 requirements.txt 中的依赖
(venv) PS D:\AI\audio\audiocraft> pip install -e .

# 卸载默认安装的 xformers
(venv) PS D:\AI\audio\audiocraft> pip uninstall -y xformers
 pip uninstall -y xformers
Found existing installation: xformers 0.0.20
Uninstalling xformers-0.0.20:
  Successfully uninstalled xformers-0.0.20
  
# 安装符合torch版本的 xformers
(venv) PS D:\AI\audio\audiocraft> pip install xformers

运行项目

(venv) PS D:\AI\audio\audiocraft> python .\app.py
A matching Triton is not available, some optimizations will not be enabled.
Error caught was: No module named 'triton'
Running on local URL:  http://127.0.0.1:7860

To create a public link, set `share=True` in `launch()`.

在浏览器中输入以上cmd打印的地址http://127.0.0.1:7860
在这里插入图片描述
至此安装完成！

模型下载

在使用文本生成音乐的时，我们可以到界面上有四个模型的选项，代表了支持的四种模型，模型越大，对显卡显存要求就越大（官方建议显存VRAM 16G以上）。这四种模型分别为：

  • small (300M), text to music, # see: https://huggingface.co/facebook/musicgen-small
  • medium (1.5B), text to music, # see: https://huggingface.co/facebook/musicgen-medium
  • melody (1.5B) text to music and text+melody to music, # see: https://huggingface.co/facebook/musicgen-melody
  • large (3.3B), text to music, # see: https://huggingface.co/facebook/musicgen-large

当点击相应模型去生成音乐时会去huggingface上下载对应的模型，且模型会默认缓存到 C:\Users\.cache\huggingface\hub中，这对于C盘空间占用不太友好，为此我们更改当前项目的模型缓存目录（可参考huggingface的文档），在系统变量中添加：
变量名：HUGGINGFACE_HUB_CACHE或者HF_HOME
变量值：自定义的模型缓存目录
在这里插入图片描述
查看原本的huggingface模型缓存目录

(venv) PS D:\AI\audio\audiocraft> huggingface-cli.exe scan-cache
REPO ID                       REPO TYPE SIZE ON DISK NB FILES LAST_ACCESSED LAST_MODIFIED REFS LOCAL PATH

----------------------------- --------- ------------ -------- ------------- ------------- ---- ----------------------------------------------------------------------------
openai/clip-vit-large-patch14 model             1.7G        6 24 hours ago  1 week ago    main C:\Users\yuan1\.cache\huggingface\hub\models--openai--clip-vit-large-patch14

重新进入到当前项目的python虚拟环境查看huggingface模型缓存目录是否更新

(venv) PS D:\AI\audio\audiocraft> huggingface-cli.exe scan-cache
REPO ID REPO TYPE SIZE ON DISK NB FILES LAST_ACCESSED LAST_MODIFIED REFS LOCAL PATH
------- --------- ------------ -------- ------------- ------------- ---- ----------

Done in 0.0s. Scanned 0 repo(s) for a total of 0.0.

自动下载模型失败

在点击对应模型去生成音乐时会自动去huggingface下载模型，但是由于网络问题，大概率会下载报错，为此，我们可以将四个选项按钮分别点一遍，这样虽然模型无法下载成功，但是会在在缓存文件夹自动生成各个模型的目录，然后我们自己去各个模型的huggingface地址将模型手动下载后导入到对应的自动生成的模型目录
在这里插入图片描述
比如small模型的下载地址，下载好的compression_state_dict.bin以及state_dict.bin移动到以上自动生成的models--facebook--musicgen-small\snapshots\项目版本hash文件夹目录下即可！
在这里插入图片描述
在这里插入图片描述
但是又有一个问题，我们首次点击了相应的模型去生成音乐时，在缓存目录只生成了一级目录，比如我这里使用medium模型以及large模型生成音乐时只是在缓存目录中生成了一级目录models--facebook--musicgen-medium以及models--facebook--musicgen-large，并没有进一步生成该一级目录下本该有的blobs、refs、snapshots目录
在这里插入图片描述
此时我们手动新建这三个目录，blobs是一个空目录，refs下有一个main文件，该文件的内容是一串hash值，即代表当前模型版本的提交记录hash，我们可以在huggingface相应的模型地中找到完整的hash值
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
将复制的hash值放到main文件中保存，然后snapshots目录下还有一个目录，目录的名字就是这串hash值
在这里插入图片描述
最后将下载的模型放入这个文件夹下即可
在这里插入图片描述

再次启动项目进行音乐生成时报错

    raise EnvironmentError(
OSError: Can't load tokenizer for 't5-base'. If you were trying to load it from 'https://huggingface.co/models', 
make sure you don't have a local directory with the same name. Otherwise, 
make sure 't5-base' is the correct path to a directory containing all relevant files for a T5Tokenizer tokenizer.

提示说要下载一个名叫t5-base的模型，其实回退到huggingface缓存跟目录可以看到已经自动生成了一个目录models-ts-base

在这里插入图片描述
于是我们打开huggingface的模型下载地址
在这里插入图片描述
这里下载文件pytorch_model.bin以及config.json
在这里插入图片描述
将下载好的文件放到models--t5-base目录下，然后重启项目再次生成音乐，会发现自动去下载所需的 model.safetensors模型，其实也就是我们以上搜索的t5-base仓库中的一个模型 model-safetensors，当然我们也可以手动将其下载下来放到以上生成的models-ts-base目录下

在这里插入图片描述
下载结果如下
在这里插入图片描述
等待下载进度完成后，我们发现cmd中也没有报错，并且界面上成功生成了音乐
在这里插入图片描述
在这里插入图片描述

pytorch相关模型缓存目录

在使用melody模型生成音乐时可以看到控制台会去下载一个80M大小的模型955717e8-8726e21a.th，该模型的缓存地址在C盘的缓存目录下，这对于C盘空间占用不太友好，于是我们可以更改pytorch的模型下载缓存目录
在这里插入图片描述
新建环境变量，变量名必须是TORCH_HOME，变量值就是自定义的pytorch缓存目录，目录最好不要带中文
在这里插入图片描述

MusicGen 模型下载地址

melody模型下载地址
large模型下载地址
medium模型下载地址
small模型下载地址

那个小白猿
关注
  • 4
    点赞
  • 踩
  • 9
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 7
    评论
Audiocraft 教程之如何在 Mac（和 Windows）上本地安装 Audiocraft（Meta AI 开源音频生成）
iCloudEnd的博客
06-11 1466
与 Google 的 MusicLM 不同，Audiocraft 是一个开源平台，为用户提供了随心所欲探索和实验的自由。默认情况下，该模型配置为与 GPU 一起使用，但稍作调整，Mac 用户也可以利用其功能。此过程的持续时间可能因您的互联网连接而异，因为它涉及下载模型 static_dict.bin (2.7 GB) 和其他文件。你需要在你的机器上安装 Python 3.9（也用 3.10 测试过）和 pip。（可选但强烈推荐）创建一个虚拟环境，这样你就可以避免以后的包安装地狱。
开源 AudioCraft 模型：为视频制作者提供免费音乐
iCloudEnd的博客
08-03 142
随着预先训练的 AudioGen 模型的推出，用户现在能够生成各种逼真的环境声音和迷人的效果，例如狗的叫声、汽车喇叭声或木地板上的脚步声，所有这些都来自简单的文本 -基于输入。此公告的另一个值得称赞的方面是 Meta 愿意向那些想要使用独特数据集训练自己的模型的个人授予访问权限。这种包容性的方法促进了创新和创造力，吸引了广泛的观点并开辟了新的探索途径。有了 AudioCraft，音频生成的未来不再是遥远的梦想，而是切实的现实。总之，Meta 的最新产品是人工智能驱动的音频生成领域的一次飞跃。
widnows安装audiocraft
u014196765的博客
10-20 121
AudioCraft是一个PyTorch库，用于音频生成的深度学习研究。我们可以上传一段音乐，AI会根据音乐以及提示词，生成一段新的音乐。下面来看看具体安装。
使用AudioCraft（MusicGen）生成音乐
培根芝士的专栏
05-10 540
模型将根据提供的描述生成一段简短的音乐，一次可生成长达30秒的音频。模型是根据库存音乐目录中的描述进行训练的，最有效的描述应该包括现有乐器的一些细节，以及一些预期的用例（例如，添加“perfect for a commercial”可能会有所帮助）。facebook/musicgen-melody：以文本和旋律为条件的音乐生成模型，也可以只使用文本。facebook/musicken-small：以文本为条件的300M转换器解码器。
AudioCraft Plus 项目安装及测试
fange86126的博客
03-29 1405
AudioCraft Plus，文本转音频
GPT2-基于Pytorch实现GPT2文本生成大模型算法-附项目源码-优质项目实战.zip
05-28
在本项目中，我们将深入探讨如何利用PyTorch实现GPT2模型，并进行文本生成的实战。首先，我们需要了解GPT2的核心组件——Transformer。Transformer是一种自注意力机制的序列到序列模型，其主要特点是摒弃了传统RNN...
人脸图像生成-基于Pytorch实现的人脸图像生成StarGAN算法-附项目源码+流程教程-优质项目实战.zip
05-28
提供的压缩包包含了一个完整的StarGAN人脸图像生成项目，其中包括了源代码和详细的流程教程。通过这个项目，学习者可以了解到如何使用Pytorch搭建和训练StarGAN模型，以及如何进行人脸属性的转换。源码分析和实践...
facebook-android-sdk-master.zip
03-13
在"facebook-android-sdk-master.zip"这个压缩包中，包含的是Facebook Android SDK的源代码和资源文件，供开发者学习和使用。 在深入讲解之前，我们需要明确几个核心概念： 1. **Facebook SDK**：Facebook提供的...
图像生成-基于Pytorch实现的渐进式图像生成算法PGGAN-附项目源码+生成过程效果-优质项目实战.zip
最新发布
05-28
在本项目中，我们将深入探讨图像生成领域，特别是基于PyTorch实现的渐进式图像生成算法PGGAN（Progressive Growing of GANs）。PGGAN是一种先进的生成对抗网络（GANs）架构，由Karras等人在2017年提出，旨在解决传统...
facebook-sdk-android-sample
05-18
facebook-sdk-android-sample Facebook SDK的示例项目 Facebook登入 Facebook分享 Facebook的地方 脸书MEssenger Facebook应用链接 Facebook登入 关联
文本到音乐，一键生成！Meta开源 最新音乐生成语言模型
zhw_yihui的专栏
06-14 431
大家好！这里是炜娓道来程序人生。今天带给大家一个Text2Music的开源项目-Audiocraft。
bert模型训练，加载保存的模型Can‘t load tokenizer for ‘/content/drive/MyDrive/Colab Notebooks/classification_mode
weixin_38864554的博客
07-20 7567
bert模型加载，报错“Can't load tokenizer for '/content/drive/MyDrive/Colab Notebooks/classification_mode”
Stable Diffusion WebUI linux部署问题
热门推荐
SuperB666的博客
09-12 2万+
从报错信息看可以看出我们缺少openai/clip-vit-large-patch14所必须的一些内容，它发现本地不存在便会从huggingface.co上下载，那我们只需要到这个网址上下载对应的文件并放到服务器上并配置所需要的地方即可。下载后开始进行配置，这些文件（clip）是模型中encoder所需要的，我们可以从报错信息中去发现是哪里调用了这个openai/clip-vit-large-patch14，去修改这个路径配置即可。让服务器访问服务器本地数据，我们负责将文件下载后上传上去并进行配置。
T5 的尝试
冬炫的博客
06-30 2559
T5 微调 3.参数列表（data dir 与 ouput dir 根据文件位置修改） 4.下面进入各种github 主的各类NLP 任务 IMDB review classification train_pos_files = glob.glob('aclImdb/train/pos/*.txt&#
【debug】OSError: Can‘t load tokenizer for ‘XXX‘. If you were trying to load it from ‘https://huggingf
prinTao的博客
03-06 4575
本地目录与 ‘openai/clip-vit-large-patch14’ 同名：如果你的本地目录中有一个名为 ‘openai/clip-vit-large-patch14’ 的文件夹，可能会导致加载错误。请检查你的工作目录或者其他相关目录中是否有同名文件夹，并确保没有命名冲突。模型路径错误：确保 ‘openai/clip-vit-large-patch14’ 是正确的模型路径，可以尝试重新确认模型路径是否正确。
OSError: Unable to load weights from pytorch checkpoint file
g1655的博客
04-13 1万+
使用transformers库的from_pretrained()函数时出错 在运行这段代码时 tokenizer = BertTokenizer.from_pretrained("bert-base-uncased") 然后报如图的错误 图中错误即OSError: Unable to load weights from pytorch checkpoint file. If you tried to load a PyTorch model from a TF 2.0 checkpoint, plea
本地部署 audiocraft
engchina的专栏
08-03 1059
本地部署 audiocraft
python输出错误信息对应的文本_OSError:[Errno 5]生成大文本fi时出现输入/输出错误python...
weixin_39984105的博客
12-21 1296
您好，我正在使用下面的python脚本来生成一个组合列表，但是在生成20分钟或大约2gb之后，我得到了“OSError:[Errno 5]Input/output error”我的代码：with open(selectedreplacelist, 'r', encoding="ISO-8859-1") as replacemes:for replaceme in replacemes:replac...
react-native-video安装
08-30
要在React Native项目中安装react-native-video，你可以按照以下步骤进行操作： 1. 在项目目录下使用npm或者yarn安装react-native-video库： ``` npm install react-native-video ``` 或者 ``` yarn add react-native-video ``` 2. 运行以下命令以链接依赖项： ``` react-native link react-native-video ``` 3. 对于iOS平台，在Xcode中打开你的项目文件，然后按照以下步骤进行操作： - 在左侧面板中选择你的项目名称，然后选择`Build Phases`选项卡。 - 展开`Link Binary With Libraries`部分，并点击加号按钮。 - 在弹出的窗口中搜索并选择`AVFoundation.framework`和`VideoToolbox.framework`，然后点击`Add`按钮。 4. 对于Android平台，在`android/app/build.gradle`文件中添加以下代码： ``` dependencies { implementation 'com.facebook.fresco:fresco:2.0.0' implementation 'com.facebook.fresco:animated-gif:2.0.0' // 添加以下代码 implementation project(':react-native-video') } ``` 5. 在你的React Native代码中导入并使用react-native-video库： ```javascript import Video from 'react-native-video'; const App = () => { return ( <Video source={{ uri: 'https://example.com/video.mp4' }} style={{ width: 300, height: 200 }} /> ); } export default App; ``` 这样就完成了react-native-video的安装和配置。记得根据你的具体需求进一步设置和使用该库。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 7
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

那个小白猿

讨杯可乐

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值