文本转自己人声的实践

文本转自己人声的实践
主要参考：https://www.yuque.com/baicaigongchang1145haoyuangong/ib3g1e/xyyqrfwiu3e2bgyk

一、准备素材
可以使用任意设备录制一段自己的朗读，时间可以控制在5分钟，建议使用Audition等软件去噪。
使用诸如讯飞听见等软件生成对应的字幕文件，其他免费软件也有。
最终得到两个文件，一个是wav格式的声音文件，一个是同名的srt字幕文件。
将这两个文件放入一个文件夹，建议这里及下面所有的文件夹和文件名称都使用英文。

二、处理数据
1）按照这个网站的说明，下载字幕标注工具
https://www.yuque.com/baicaigongchang1145haoyuangong/ib3g1e/pqn7zn003kduyye2

2）解压下载好的”Alice_split_toolset.7z“文件
3）将wav和srt文件复制到解压文件夹中的input文件夹下
4）连续运行标号为1到4的四个文件，都是双击运行
注意几个问题：
第一步时可能会产生Unicode编码错误，如果是这样，可以将srt文件文件编辑器打开另存为时选择UTF-8字符格式，替换原先的srt文件即可。
第二步时可以保留英文选择0
第三步时设置最大字符限制为30
第四步时可以自由设定，英文
5）全部完成后可以在当前文件夹下看到一个dataset文件夹，里面有刚才设定名称的文件夹，再里面就是处理好的多个音频文件和一个名称为”dataset_mapping.list“的文件

三、训练
1）从官网下载整合包，无需全部下载，只需下载V2新版，完整文件名称为“GPT-SoVITS-v2-240821.7z”
https://www.yuque.com/baicaigongchang1145haoyuangong/ib3g1e/xyyqrfwiu3e2bgyk#OGPt7

2）解压该文件
3）在解压的文件夹中双击运行go-webui.bat
4）过会自动打开本地网页，网址为：http://localhost:9874/
里面有三个页面，分别是“0-前置数据集获取工具“、“1-GPT-SoVITS-TTS“、“2-GPT-SoVITS-变声“。
由于已经数据处理好，可以直接打开“1-GPT-SoVITS-TTS“
5）实验模型名称任意（英文），下面还有三个子页面，分别是”1A-训练集格式化工具”、”1B-微调训练”、”1C-推理”。
在“1A-训练集格式化工具”——”文本标注文件“选择刚才那个”dataset_mapping.list“所在文件夹及这个文件名称的完整路径。
”训练集音频文件目录“选择”dataset_mapping.list“所在文件夹，注意不要加这个文件的名称
6）在下方点击”开启一键三连“
7）选择另一页的”1B-微调训练”，分别点击”开启SoVITS训练“和”开启GPT训练“

四、生成
1）选择另一页的”1C-推理“，点击右边的”刷新模型路径“，由于并非参数越大越好，可以根据需要自己选择并尝试观察
2）点击下方的”开启TTS推理WebUI“
3）过会自动打开本地网页，网址为：http://localhost:9872/
这里依然可以自由再次选择不同的训练好模型组合观察最终效果
4）在”请上传并填写参考信息“选择一个刚才dataset拆分好的音频片段，要求10秒以内
5）在”参考音频的文本“从相应的字幕文件中准确选择对应的文字内容
6）在”需要合成的文本“中使用需要转换的文本内容
7）点击”合成语音“即可完成
 

总体感觉很快，尤其是生成，2060显卡也可以实现较快的速度