GPT-SoVITS音色克隆-模型训练步骤

GPT-SoVITS音色克隆-模型训练步骤

启动模型训练的主页面

1. 切到模型路径

/psycheEpic/GPT-SoVITS
  • 进入Python虚拟环境,并挂起执行python脚本
conda activate GPTSoVits
nohup python ./webui.py >>./webui.log &
  • 查看日志 tail -500f webui.log

2. uvr5人声分离和去混响处理

  • 切换到路径
cd /psycheEpic/GPT-SoVITS/tools/uvr5
  • 启动uvr5操作web界面
  • 在这里插入图片描述
python webui.py "cuda" True 15666 True

3. 人声分离操作

在浏览器进入界面:https://73de21d131614dd42e.gradio.live,这个地址每次启动都会变得

先用HP2模型处理一遍(提取人声),然后将输出的干声音频再用onnx_dereverb最后用DeEcho-Aggressive(去混响),输出格式选wav。输出的文件默认在GPT-SoVITS-beta\GPT-SoVITS-beta\output\uvr5_opt这个文件夹下,建议不要改输出路径,到时候找不到文件谁也帮不了你。处理完的音频(vocal)的是人声,(instrument)是伴奏,(No Reverb)的没混响的,(Reverb)的是混响。(vocal)(No Reverb)才是要用的文件,其他都可以删除。结束后记得到WebUI关闭UVR5节省显存。

1)第一步先提前人声,人声和背景音乐分离,HP2模型

在这里插入图片描述

2)第二步将上一步分离出来的人声,上传作为输入,再使用onnx_dereverb提前一次人声

在这里插入图片描述

3)第三步将上一步的人声作为输入,去混响,使用DeEcho-Aggressive(去混响)

在这里插入图片描述

4. 将长音频进行切割

进入主页面操作:

在这里插入图片描述

5.给切割好的音频作为输入,给对路径,调用模型进行打标

为什么要打标:打标就是给每个音频配上文字,这样才能让AI学习到每个字该怎么读。这里的标指的是标注

这步很简单只要把刚才的切分文件夹输入,如果你音频降噪过,那么默认是output/slicer_opt文件夹,如果你切分了没有降噪,那么默认是output/slicer_opt文件夹。然后选择达摩ASR或者fast whisper。达摩ASR只能用于识别中文,效果也最好。fast whisper可以标注99种语言,是目前最好的英语和日语识别,模型尺寸选large V3,语种选auto自动就好了。然后点开启离线批量ASR就好了,默认输出是output/asr_opt这个路径,建议不要改输出路径,到时候找不到文件谁也帮不了你。ASR需要一些时间,看着控制台有没有报错就好了。

在这里插入图片描述

6. 标注校验

在这里插入图片描述

7.GPT-SoVITS-TTS-训练集格式化工具-填好参数一键三连

在这里插入图片描述

在这里插入图片描述

8. 微调训练

在这里插入图片描述

9. 模型推理,刷新模型

在这里插入图片描述

  • 执行脚本,打开推理页面
进入Python环境
conda activate GPTSoVits
cd /psycheEpic/GPT-SoVITS/GPT_SoVITS/
nohup python inference_webui.py >>./inference_webui.log &
### GPT-SoVITS声音克隆工具概述 GPT-SoVITS是一个用于创建高度逼真语音合成模型的强大工具,能够精确复制特定个体的声音特征[^1]。 ### 安装环境配置 为了顺利运行GPT-SoVITS项目,需先搭建合适的开发环境。推荐使用Anaconda来管理Python版本及相关依赖库: ```bash conda create -n sovits python=3.8 conda activate sovits pip install torch==1.9.0 torchaudio===0.9.0 -f https://download.pytorch.org/whl/torch_stable.html pip install -r requirements.txt ``` 上述命令会安装PyTorch以及其它必要的软件包,确保所有组件兼容并正常工作。 ### 数据集准备 高质量的数据对于训练效果至关重要。应收集目标人物清晰无背景噪音的音频片段作为样本数据源。每条记录建议长度控制在几秒到十几秒之间,并保持一致的采样率(通常为22kHz)。这些素材将被用来提取声纹特征,进而构建个性化的发声模型。 ### 训练过程简介 完成前期准备工作之后就可以启动模型训练流程了。具体操作如下所示: ```python from utils import preprocess_dataset, train_model # 对原始音频文件执行预处理操作 preprocess_dataset('path/to/audio/files') # 开始正式训练阶段 train_model(config='config.json', checkpoint_dir='./checkpoints') ``` 此部分涉及复杂的算法运算,在GPU支持下可以显著加快收敛速度。经过若干轮迭代优化后即可获得初步可用的结果。 ### 测试与应用实例 当模型训练完毕并通过验证测试后便能投入实际应用场景当中去了。下面给出一段简单的调用代码供参考: ```python import os from text_to_speech import TTSModel model_path = './checkpoints/best.pth' output_wav = 'generated_audio.wav' tts = TTSModel(model_path=model_path) audio_data = tts.synthesize(text="这是一句测试语句") os.write(output_wav, audio_data) print(f"已成功生成音频文件 {output_wav}") ``` 这段脚本展示了如何加载已经训练好的权重参数并将指定的文字转换成对应的语音输出。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值