【GPT-SOVITS-01】源码梳理

已于 2024-03-22 14:57:54 修改
阅读量4.3k 收藏 30
点赞数 14
分类专栏： 机器学习笔记 机器学习 文章标签： gpt-sovits AI语音 人工智能 深度学习
于 2024-03-17 20:23:34 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Fredric_2014/article/details/136788284
版权
本文讲述了作者将知乎账号上的GPT-SOVITS系列文章代码从一键包迁移到PyCharm的过程，包括重构代码结构、环境配置、特征处理、训练和推理脚本的迁移，以及资源管理，重点介绍了如何使用2024.1.18版本的一键包。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

说明：该系列文章从本人知乎账号迁入，主要原因是知乎图片附件过于模糊。

知乎专栏地址：
语音生成专栏

系列文章地址：
【GPT-SOVITS-01】源码梳理
【GPT-SOVITS-02】GPT模块解析
【GPT-SOVITS-03】SOVITS 模块-生成模型解析
【GPT-SOVITS-04】SOVITS 模块-鉴别模型解析
【GPT-SOVITS-05】SOVITS 模块-残差量化解析
【GPT-SOVITS-06】特征工程-HuBert原理

1、代码结构

在这里插入图片描述

2、开发工程搭建

为了便于开发调试，我将一键包中的代码迁移到pycharm中，环境依赖同一键包。如下图所示，完成几点：

  • 将特征预处理及训练界面脚本搬迁至：main_train，通过函数依次执行
  • 将推理界面脚本搬迁至：main_infer，通过传参，保存输出文件至 output
  • 将资源目录规整至 res 下

使用 2024.1.18 一键包版本
在这里插入图片描述

GPT-SoVITS语音合成服务器部署，可远程访问（全部代码和详细部署步骤）
qq_34717531的博客
03-18 4284
此外，项目还提供了一些集成工具，包括声音伴奏分离，自动训练集分割，中文ASR和文本标签，帮助初学者创建训练数据集和 GPT/SoVITS 模型。Zero-shot TTS 可以让用户输入5秒钟的语音样本并立即体验转换后的语音，而 Few-shot TTS 则可以通过使用仅一分钟的训练数据进行模型微调，从而提高语音相似度和真实性。WebUI 工具：集成工具包括声音伴奏分离，自动训练集分割，中文ASR和文本标签，帮助初学者创建训练数据集和GPT/SoVITS模型。
数字人开源项目，旨在实现实时、互动的数字人流媒体传输，可做毕业设计
10-13
数字人开源项目，旨在实现实时、互动的数字人流媒体传输，可做毕业设计。该技术允许用户创建高度逼真的虚拟人（MetaHuman），并使其能够进行实时交互，适用于虚拟现实、电子游戏以及直播等场景。这个系统支持多种模型，包括 ER-Nerf、MuseTalk 和 Wav2Lip，每个模型提供不同的功能。例如，ER-Nerf 可以生成全身的虚拟人，Wav2Lip 则专注于将虚拟人的嘴型与语音同步。MetaHuman Stream 使用 WebRTC 进行实时通信，支持与 TTS（文本到语音）引擎集成，如 GPT-Sovits，从而实现动态对话。 其核心特点之一是支持多种传输协议，如 WebRTC、RTMP 和 RTCPush，以满足不同的部署需求。用户可以自定义虚拟人的背景、全身形象和面部表情，从而提升互动的沉浸感。
声音的克隆：GPT-SoVITS
dataddd的博客
05-13 1374
下载必要的使用的包。
GPT-SoVITS V3模型推理代码，支持API调用，支持流式，支持各种音频格式
最新发布
2401_88223409的博客
02-19 2190
因为GPT-SoVITS最近发布了最新的v3模型，大幅增加zero shot相似度；情绪表达、微调性能提升。实际体验下来确实比v2模型的音色要强，在跨语种能力上也有进步。而取得这样的成果必然少不了原开发者的黑科技，v3的推理过程和v1与v2区别很大，总体来说变得复杂了（俺也不懂行），原代码呈几何式暴乱！最开始我本想在原项目的基础上去写一个v3的api文件，但是看了源码之后……Orz我就去偷了其他大佬提纯的核心推理代码经过一番折腾，我把v3的推理代码给移植进去，并做了api的接口。于是。
CosyVoice2：阿里开源语音合成模型，模仿、生成、细粒度控制，全部拿下！（附使用方法、论文代码详解）
sherlockMa的博客
12-31 1万+
CosyVoice 2是由阿里巴巴集团开发的先进流式语音合成模型，它不仅继承了前代模型的优秀基因，更通过一系列创新性的技术优化，实现了在保持极低延迟的同时，生成质量几乎与人类发音无异的语音。CosyVoice 2模型的核心优势在于其能够提供接近人类发音自然度的合成语音。
【GPT-SOVITS-03】SOVITS 模块-生成模型解析
Fred's Note
03-17 5862
GPT-SOVITS 源码解析
(源码)端到端的声音克隆项目(对GPT-SoVITS工程化)
weixin_46412999的博客
06-05 1549
端到端的声音克隆：对GPT-SoVITS工程化，即输入原音频(1分钟就可以，时间越长越好)和结果输出的音频命名，执行相应脚本，等待程序执行完成，即可得到克隆结果和模型。
【GPT-SOVITS-04】SOVITS 模块-鉴别模型解析
Fred's Note
03-17 3213
GPT-SOVITS 源码解析
ubuntu系统部署GPT-SoVITS
sahye_plinnae的博客
07-31 2099
主要是因为服务器只能用命令行，所以记录一下，不然可以直接用webui处理。只有最基础的切割音频、识别文字、推理的代码，没有训练、微调。
【GPT-SOVITS-02】GPT模块解析
Fred's Note
03-17 4697
GPT-SOVITS 源码解析
基于中文文本情绪分析自动切换参考音频的 GPT-SoVITS 推理
05-11
基于中文文本情绪分析自动切换参考音频的 GPT-SoVITS 推理 GPT, 通常指的是“Generative Pre-trained Transformer”（生成式预训练转换器），是一个在自然语言处理（NLP）领域非常流行的深度学习模型架构。GPT模型...
GPT-SoVITS-WebUI
01-03
GPT-SoVITS-WebUI是一种结合了GPT技术和SoVITS的Web界面工具，旨在实现零样本的即时语音到文本转换功能。该工具的特点在于它能够通过输入短短5秒的语音样本来实现语音到文本的即时转换，显著降低了使用门槛，即使是...
GPT-SoVITS语音合成服务器部署（远程访问）
03-14
生成的语音
基于 RWKV_Role_Playing 项目接入GPT-SoVITS语音对话项目.zip
05-11
GPT, 通常指的是“Generative Pre-trained Transformer”（生成式预训练转换器），是一个在自然...为了解决这些问题，研究人员不断提出新的优化方法和扩展模型架构，如GPT-2、GPT-3等，以进一步提高模型的性能和效率。
GPT-SoVITS-WebUI 声音克隆，强大的少样本语音转换与语音合成Web用户界面，支持中英日语
01-22
功能： 1、零样本文本到语音（TTS）： 输入5秒的声音样本，即刻体验文本.../4、WebUI工具： 集成工具包括声音伴奏分离、自动训练集分割、中文自动语音识别(ASR)和文本标注，协助初学者创建训练数据集和GPT/SoVITS模型。
让AI帮你说话--GPT-SoVITS教程
weixin_40313940的博客
01-28 9791
让AI帮你说话--GPT-SoVITS模型合成自己声音
GPT-SoVITS项目的API改良与使用
热门推荐
AAI666666的博客
03-08 1万+
GPT-SoVITS是一个非常棒的少样本中文声音克隆项目，之前有一篇文章详细介绍过如何部署和训练自己的模型，并使用该模型在web界面中合成声音，可惜它自带的 api 在调用方面支持比较差，比如不能中英混合、无法按标点切分句子等，因此对原版api做了修改，详细使用说明如下。
GPT-SoVITS 本地搭建踩坑
SlowFeather's blog
01-27 7551
传言GPT-SoVITS作为当前与BertVits2.3并列的TTS大模型，于是本地搭了一个，简单说一下坑。能够有感情的朗读了，不错。
声音模拟（GPT-SoVITS）和翻译
m0_57057282的博客
05-31 932
1.GPT-SoVITS2.翻译。
gpt-sovits下载
01-14
至于GPT-SoVITS项目的源码或者其他辅助工具，则通常建议访问该项目托管页面，比如GitHub上的官方库，从中找到最新的发布版本进行克隆或者下载压缩包形式的快照。不过请注意，具体的URL可能会随着维护者更新而有所...
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值