训练自己的声音模型，效果超级逼真，最牛的开源声音克隆项目 GPT-SoVITS

最新推荐文章于 2025-03-24 17:11:44 发布

TechAI

最新推荐文章于 2025-03-24 17:11:44 发布

阅读量2.6k

点赞数 34

文章标签： gpt 语音识别人工智能

本文链接：https://blog.csdn.net/TechAI/article/details/137007386

版权

本文详细介绍了如何使用开源项目GPT-SoVITS进行声音克隆，包括Windows系统的安装、模型训练流程（如语音切分、ASR、校对和训练）以及最终的使用方法。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

GPT-SoVITS 是一个开源的声音克隆项目，可以训练自己的声音模型。

效果非常好，使用超级简单。

如果你有声音克隆的需求，必须要试试这个项目。

不说废话，直接看怎么训练自己的声音模型。

1. 安装

我的是Windows系统，GPT-SoVITS 为 Windows 提供了整合包。

地址：

https://huggingface.co/lj1995/GPT-SoVITS-windows-package/resolve/main/GPT-SoVITS-beta.7z?download=true

下载解压后直接运行其中的 go-webui.bat 即可。

如果你的Linux或者Mac，请参考项目说明。

2. 训练声音模型

模型训练的流程：

1）人声伴奏分离

如果你提供的音频是干净的人声，就略过此步骤。

2）语音切分

把提供的语音切分成N个几秒的小段儿音频。

3）语音识别 ASR

把每段音频中的文字提取出来。

4）语音文本校对

纠正上一步提取出来的文字不准确的地方，修正。

5）训练集格式化

处理校对过的文本，特征提取，语义token提取。

6）声音模型训练</

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

TechAI

关注关注

34
点赞
踩
20

收藏

觉得还不错? 一键收藏
1
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

GPT-SoVITS声音克隆训练和推理（新手教程,附整合包）

本博客，博文仅代表个人操作经验，不能完全解决你的问题，仅供参考，佛系回复。

04-24

3152

Win10 专业版整合包。

基于GPT-SoVITS-Gradio的音频文本推理，流式生成，声音克隆

Mr数据杨

07-20

1487

通过本文的详细步骤，您已经了解了如何使用UVR5进行音频预处理，如何利用GPT-SoVITS-TTS进行高效的语音训练和推理。音频处理和语音生成技术的结合，不仅提高了音频处理的效率，还极大地提升了生成语音的质量和自然度。希望本指南能够帮助您在实际应用中充分发挥这些工具的优势，创造出高质量的音频和语音合成作品。

1 条评论您还未登录，请先登录后发表或查看评论

声音克隆项目coqui-aiTTS实战（大模型实战）

sdfghwijiebvnd的博客

08-23

4013

coqui-aiTTS是一个开源的文本转语音(TTS)项目,旨在提供高质量的声音克隆和语音合成功能。它利用深度学习技术,能够模仿特定说话人的声音特征,实现个性化的语音输出。该项目支持多语言,并提供了训练工具,允许用户使用自己的数据集来创建定制的TTS模型。coqui-aiTTS的目标是为开发者和研究者提供一个灵活、强大的TTS解决方案,可用于各种应用场景,如虚拟助手、有声读物或个性化语音界面等。（CUDA驱动11.8）

GPT-SoVITS本地部署：低成本实现语音克隆远程生成音频全流程实战

私聊前往站内信：https://i.csdn.net/#/msg/chat/weixin_44976692

03-24

5004

今天要给大家安利一个绝对能让你大呼过瘾的声音黑科技——GPT-SoVITS！这款由花儿不哭大佬精心打造的语音克隆神器，已经在GitHub上收获了超过35K颗星星，简直是声音界的扛把子。你可能会想：这玩意儿难用吗？完全不会！GPT-SoVITS V2版不仅支持中、日、英、韩、粤五种语言，还加入了语速调节和无参考文本模式等实用功能。更让人兴奋的是，它为Windows用户准备了超简单的整合包，下载解压就能直接上手。但是，如果你只有一台性能强劲的电脑，并且希望在外出时也能随时随地使用这款神器怎么办？别担心！

GPT-SoVITS：训练自己的声音【超详细教程】

CITY_OF_MO_GY的博客

08-05

3419

上一篇文章中我们介绍了如何在魔塔平台搭建GPT-SoVITS工具，今天，我们就详细介绍一下如何训练出自己的声音，话不多说，那我们现在开始。我们先大概介绍一下相关流程：第一步需要录一段自己或者喜欢的声音的录音作为训练集；第二步需要对录音中的背景音进行去除，提取人声；第三步对语音进行切分；第四步对切分好的录音再进行降噪处理；第五步再将降噪后的录音进行自动文本标注，生成标签文件；第六步将生成的标注文件进行人工矫正；第七步加载训练集；第八步选择与训练模型进行训练；第九步加载训练好的模型进行推理；

让你COPY 自己的声音，GPT-SoVits 人声模型训练

m0_59139710的博客

02-29

8523

一个最快速、方便的声音copy模型，一个强大的少量语音转换和文本转换到语音 WebUI——GPT-SoVITS！

开源语音克隆大模型

日志

12-06

948

AI大模型开源语音克隆大模型一、趣丸科技与港中大（深圳）联合的MaskGCT 特点与优势采用掩码生成模型与语音表征解耦编码的创新范式，在声音克隆、跨语种合成、语音控制等任务中展现出卓越效果，在三个TTS基准数据集上都达到了SOTA效果，某些指标甚至超过人类水平。秒级超逼真的声音克隆，仅需3秒音频样本即可复刻人类、动漫、“耳边细语”等任意音色，且能完整复刻语调、风格和情感。更精细可控的语音生成，可灵活调整生成语音的长度、语速和情绪，支持通过编辑文本编辑语音，并保持韵律、音色等方面的

【超详细教程】GPT-SoVITs从零开始训练声音克隆教程（主要以云端AutoDL部署为例）

最新发布

03-28

1. **内容概要**：这是一个基于PyTorch的GPT - SoVITS声音克隆开源项目，含训练代码与模型，可让用户用少量音频样本克隆声音。 2. **适用人群**：适合对声音克隆技术感兴趣的开发者、音频处理爱好者及相关专业学生。...

GPT-SoVITS 一键整合包- AIStarter启动器专属

weixin_43833874的博客

02-06

1万+

GPT-SoVITS 一键整合包下载地址：更多分流下载地址百度网盘链接：提取码：d7xz。

YYDS！5 个「声音克隆」开源项目

公众号：逛逛GitHub

09-29

2072

01只需要 1 分钟语音数据实现声音克隆GPT-SoVITS 是一个基于少量语音数据（1 分钟左右）即可训练出高质量 TTS（文本转语音）模型的开源项目，提供少样本语音克隆能力。目前该开源项目已经获得了 33.2k 的 Star！它允许用户使用 5 秒的语音样本进行零样本 TTS 转换，并支持多语言推理，包括英语、中文、日语、韩语和粤语。???? 特色功能① 零样本 TTS：快速输入 5 秒语音，立即进...

【AI语音】开源语音克隆工具盘点，分享几款开源语音克隆利器

寻道AI，探索AI无限可能！

12-20

4028

在当今人工智能飞速发展的时代，语音克隆技术作为其中的一颗璀璨明珠，正逐渐改变着我们与声音交互的方式。本文将为大家详细介绍几款优质的开源语音克隆工具，包括它们的项目概述、功能特点、技术原理、项目地址以及使用方式等，带您一同领略语音克隆技术的魅力。

python训练人声模型

weixin_40489652的博客

08-19

246

我整理的一些关于【数据】的项目学习资料（附讲解～～）和大家一起分享、学习一下：https://d.51cto.com/eDOcp1Python训练人声模型的探索在人工智能领域，声音识别和生成是一个极其热门的研究方向。人声模型可以帮助计算机理解人类的言语，从而实现在通信、翻译以及语音助手等领域的应用。本文将介绍如何利用P...

GPT-SoVITS-WebUI一键整合包及使用教程（V2版本），提升音频质量，合成出更加清晰、丰富的音频效果，提升真实感，中文、英语、日语、韩语、粤语五种语言之间的跨语种合成

jingtian2024的博客

10-29

5061

对于低音质参考音频，特别是在网络音频中常见的高频缺失和沉闷的听感，V2模型展现出了卓越的音频合成能力。它能够有效提升音频质量，合成出更加清晰、丰富的音频效果。通过先进的处理技术，V2模型能够补充缺失的高频，改善整体音质，提供更为愉悦的听觉体验。这一优势使得V2模型在音频处理领域尤为重要，尤其适用于那些希望提升音频质量的用户。经过将训练集扩充至5000小时，V2模型在零样本（zero-shot）性能方面表现得更加出色，合成的音色也更加接近目标音色。

这个 GitHub 项目能克隆你的声音

公众号：逛逛GitHub

05-12

2491

GPT-SoVITS 一键整合包 - AIStarter启动器常见问题解答

ai_xiaogui的博客

08-22

813

无论您是创意工作者还是技术爱好者，这些免费的AI工具都将极大地扩展您的创作边界。它们不仅能够帮助您提升工作效率，还能激发新的灵感和想法。如果您对AI技术充满好奇，想要尝试使用这些强大的工具来提升自己的工作效率或创造独特的内容，那么现在就开始探索吧！快来体验这些神奇的AI工具吧！让我们一起探索AI的力量，开启您的创意之旅！GPT-SoVITS 一键整合包- AIStarter启动器常见问题解答。

声音克隆教程-GPT-SoVITS

月流霜的专栏

05-27

2590

这个窗口实际就是调整每个语段，如果你的输入音频很大，有十几分钟，切割之后可以做一些合并，操作也很简单，选中片段然后点击。，在声音训练上面非常简单，几乎可以说是傻瓜式操作，虽然它也有一些弊端和缺点，但是无疑在目前市面上，，增加视频的趣味性以及观看性，由于我这台电脑的显卡限制，我导入训练的素材只有四十秒，所以语音的。是目前市面上最好的语音克隆工具，且开源，虽然用到的所有技术不是最新的，但它开创性的加入了。，但是我看了很多其他博主的测试，如果是原声情况下，自己的声音还原度基本可以以假乱真。

Window系统GPT-SoVITS配置安装

类人_猿的博客

02-20

4229

作者链接版本这里根据教程的版本走即可，这里不会安装python或者不会配置环境的参考我之前的文章prezip win + r打开cmd命令行找到对应的源文件地址输入pip install -r requirements.txt安装依赖文件等待安装结束直接运行webui.py 这里我用的vsc运行的，也可以直接cmd命令行运行 python xxx.py去运行ERROR: Could not install packages due to an OSError: [Errno 2] No such

gpt-sovits声音模型

01-12

### GPT-SoVITS 声音模型简介 GPT-SoVITS 是一种基于深度学习的声音合成工具，能够实现高质量的语音转换和生成功能。该模型融合了多种先进技术，在保持自然度的同时提高了合成效率[^1]。 ### 安装环境准备为了使用 GPT-SoVITS 模型，需先安装必要的依赖库并配置运行环境： ```bash git clone https://github.com/your-repo/GPT-SoVITS.git cd GPT-SoVITS pip install -r requirements.txt ``` 确保 Python 版本不低于 3.7 并已正确设置 CUDA 环境以便支持 GPU 加速运算。 ### 数据预处理在训练或推理前，需要对音频数据集执行标准化处理操作，包括但不限于重采样、分帧以及特征提取等过程。具体命令如下所示： ```python from preprocess import process_data process_data(input_dir='path/to/input', output_dir='path/to/output') ``` 此脚本会读取指定目录下的所有 WAV 文件，并将其转化为适合输入给 SoVITS 的格式。 ### 训练新模型如果打算自定义一套全新的声纹识别系统，则可以利用现有框架来进行针对性训练。以下是启动训练任务的基本指令： ```bash python train.py --config configs/base.yaml \ --train True \ --restore_step 0 ``` 这里 `configs/base.yaml` 存储着超参数设定；而 `--restore_step` 参数用于控制是否继续之前保存过的断点位置继续迭代优化。 ### 推理与应用完成上述准备工作之后即可调用 API 实现即时语音合成功能。下面给出一段简单的代码片段来展示如何加载预训练权重文件并对任意文本进行发音预测： ```python import torch from text import symbols, text_to_sequence from model import Generator device = 'cuda' if torch.cuda.is_available() else 'cpu' model = Generator(len(symbols)).to(device) checkpoint = torch.load('g_0240000.pth.tar', map_location=device) model.load_state_dict(checkpoint['state_dict']) def synthesize(text): sequence = np.array(text_to_sequence(text))[None, :] with torch.no_grad(): mel_outputs_postnet = model.inference(sequence).float() return mel_outputs_postnet.cpu().numpy() result = synthesize("你好世界") print(result.shape) # 输出 (1, L, M), 其中L表示时间长度,M为梅尔频谱维度数 ``` 这段程序首先实例化了一个生成器对象，接着通过反序列化的方式恢复先前存储下来的网络结构及其对应的参数值。最后定义了一个辅助函数负责接收待转化的文字串作为输入，并返回相应的 Mel-spectrogram 数组形式的结果。