打开colab
https://colab.research.google.com/drive/1pn1xnFfdLK63gVXDwV4zCXfVeo8c-I-0?usp=sharing#scrollTo=-XEdEXyTHVfD
谷歌的colab平台,借用免费的云平台和gpu算力。借助VITS对已有语音数据进行训练,生成对应音色风格的语音。
准备文件 默认建议
1…zip文件打包的,按角色名排列的短音频,该压缩文件结构应如下所示:
Your-zip-file.zip
├───Character_name_1
├ ├───xxx.wav
├ ├───…
├ ├───yyy.mp3
├ └───zzz.wav
├───Character_name_2
├ ├───xxx.wav
├ ├───…
├ ├───yyy.mp3
├ └───zzz.wav
├───…
├
└───Character_name_n
├───xxx.wav
├───…
├───yyy.mp3
└───zzz.wav
注意音频的格式和名称都不重要,只要它们是音频文件。
质量要求:2秒以上,10秒以内,尽量不要有背景噪音。
数量要求:一个角色至少10条,最好每个角色20条以上。
注:压缩为zip,压缩时,选中所有文件压缩,而不是对文件夹压缩
Step 0
运行查看GPU配置
。本笔记本必须在GPU模式下运行,可以运行上方的nvidia-smi查看GPU是否装载。若没有,点击左上角>修改>笔记本设置,把硬件加速改成GPU。
step 1
运行安装环境
step 1.5
选择预选训练模型,默认CJ
加载谷歌云盘,登录授权。
打开谷歌云盘网页,上传压缩包
此时回到colab,在窗口左侧打开文件夹,此处就可以看见自己的云盘文件夹,找到上传的压缩包,选中复制其路径。
step 2.1 上传音频
展开,选择第二个单元格,在其右侧粘贴路径信息。压缩包路径信息:在左侧的文件夹中找到压缩包,右击,复制路径。
如果你是训练单个角色,在custom_character_voice后面加一个speak_names比如:custom_character_voice/hutao
而后,点击运行,此时可以看到解压抽取音频文件
step3
自动处理所有上传的数据-运行
会将每一条语音识别为文字
STEP 3.5
单个角色的话,运行
step 4
左侧创建输出文件夹,而后复制这个文件夹的路径
复制路径替换代码中的两处 ./OUTPUT_MODEL。
设置epochs,40基本就成型了
运行,等待
下载配置文件
在云盘对应的输出文件夹,下载G_latest.pth和.json文件。
再打开 https://github.com/Plachtaa/VITS-fast-fine-tuning/releases/tag/webui-v1.1,下载inference.rar,解压,粘贴替换G_latest.pth和.json文件,将.json文件重命名为finetune_speaker.json
运行文件夹里面的inference.exe
即可完成