![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
声音克隆
wxl781227
生命如昙花一现,愿每一段行程象如歌的行板,灿烂而又真实!
展开
-
中文语音合成开源模型总结
这些模型代码或多或少都有些BUG,需要自己去修复,另外vits类的多人训练模型代码需要自己需修改,可以使用拼音,也可以使用音素,使用音素加上停顿效果更佳。加速方面:量化、转onnx或script模型失败,代码不支持,其中转traced_model成功,但性能很低,短句需要10秒,放弃。MockingBird:特点是克隆的声音音色比较像,缺点也很明显,速度慢,5秒左右,可以优化到0.4-1.2秒左右,MOS值偏低;Vits:特点是目前公开MOS值最接近真实值的,速度比较快,0.08-0.4秒左右;原创 2022-11-23 11:23:34 · 3136 阅读 · 2 评论 -
专利-高效低成本声音克隆系统及其资源优化管理方法
描述资源紧张时的服务保障,包括尽量保证当前使用的资源保证使用,同时检查闲置资源,若没有资源可用,就只能等待或增加硬件资源。描述集群操作细节,包括处理用户训练和部署请求、管理训练资源和模型服务、确保训练和推理服务的有效分配和执行。描述通过集群算法和预生成方式,成本可以进一步降低,总体降低超过90%,在预生成方式下可以降低97%的成本。描述资源监控与接口,包括获取当前节点的CPU和GPU使用情况的接口、实时资源监控和资源使用数据的应用。描述资源智能调配策略,包括前期优先分配训练资源,后期优先分配推理资源。原创 2024-06-26 10:13:53 · 471 阅读 · 0 评论 -
TTS如何正确读AI缩写、金额和数字
案例:Tell me what's AI(a i), you need pay $186.30, your card Number is 1 2 3, your work Number is 5 6 7 8。原创 2024-07-27 15:22:32 · 101 阅读 · 0 评论 -
MacOS 下运行 GPT-SoVITS
--local-dir-use-symlinks False 用于解决 macOS alias 文件的问题。# 安装 huggingface-cli 用于和 huggingface hub 交互。# 会下载到 GPT_SoVITS/pretrained_models 文件夹下。# 下载模型, 由于模型文件较大,可能需要一段时间。# 安装 ffmpeg。原创 2024-08-16 19:06:09 · 511 阅读 · 0 评论 -
bert_vits2和gpt-sovits2
总结一下bert_vits2和gpt-sovits2: gpt-sovits2音质更佳(增加了去燥),训练时间更短,L4单训练大概6分钟左右,训练资源<9G,推理占用资源更低,大概1.6G左右。推理默认根据语境支持AI缩写,数字和金额,支持标点符号语气(如:。的差别),支持参考音频语气与情绪(如:开心、沮丧、愤怒等8种情绪),推理更灵活(有类似GPT的参数),支持中文模型说英语、日语和粤语,且声音不变,可以同时混合4种语言(中文、英语、日语和粤语),但单语言转换效果更佳(中->英,英->中)。原创 2024-08-21 10:26:45 · 104 阅读 · 0 评论