“声”临其境，一键克隆：第二代GPT-SoVITS 让你的声音自由飞翔

最新推荐文章于 2024-09-26 11:55:28 发布
最新推荐文章于 2024-09-26 11:55:28 发布
阅读量590 收藏 12
点赞数 11
文章标签： gpt 人工智能 音视频
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/2401_86055303/article/details/142385822
版权

AI正在悄然编织一个日益魔幻的世界！

马斯克跨界献舞，在线空间掀起科幻风潮！

AI 恶搞《黑神话：悟空》博主，一天轻松揽获百万播放，十几万点赞！

.......

在AI快速发展的今天，你是不是也已经洞察到各种商机，却因为不懂技术而裹足不前？

比如《黑神话：悟空》恶搞视频，我们都知道是通过AI克隆声音来实现的，既让人听起来和原声几乎一模一样，还好玩。大家都爱看，看完还愿意点赞、分享。

广泛应用的AI声音克隆，在过去往往意味着需要大量的语音样本和繁琐的操作流程才能实现。但现在，第二代GPT-SoVITS的到来，将彻底改变这一局面。它不仅简化了操作流程，还能以极少量的声音样本快速克隆出逼真的声音。即使是没有技术背景的小白用户，也能在短短一分钟内掌握其使用技巧，轻松实现个性化的声音克隆。

第二代GPT-SoVITS简介

第二代GPT-SoVITS，是由RVC变声器创始人“花儿不哭”与AI音色转换技术Sovits开发者Rcell，联合开发的先进声音克隆与语音合成工具。

这款工具在第一代的基础上进行了多项创新和改进，支持中英日韩粤等多种语言的声音合成，仅需一分钟的音频样本即可训练出高质量的语音模型。

核心优势

  • 高质量声音克隆：第二代GPT-SoVITS在处理低质量音频时，能够生成更自然、更流畅的声音。
  • 多语言支持：支持中英日韩粤等多种语言的跨语种多情感合成。
  • 零样本TTS和Few-shot TTS：底模训练集扩充至5000小时，显著提升了零样本性能，音色更逼真，所需数据集更少。
  • 集成工具：集成了UVR5等工具，包括人声伴奏分离、语音切分、降噪、中文ASR和文本标注等功能，简化了训练数据集和模型的创建过程。
  • 优化的文本前端：第二代中英文加入多音字优化，提升了文本处理的准确性。

应用场景

  • 个性化语音助手：为智能助手或聊天机器人创建个性化的声音，提升用户体验。
  • 虚拟角色配音：在游戏、动画或虚拟现实中为虚拟角色提供逼真的语音。
  • 有声读物制作：将文本内容转换为语音，制作高质量的有声书籍。
  • 无障碍服务：为视障人士或阅读障碍者提供文本到语音的服务，帮助他们更好地获取信息。
  • 语音娱乐：制作恶搞音频、模仿明星声音等，提供丰富的娱乐体验。
  • 语音隐私保护：改变语音的音色，保护用户的隐私。
  • 语音辅助：为听力受损者提供语音辅助，帮助他们更好地识别和理解语音。

Windows本地部署一键整合包

为了降低使用门槛，F5 AI社区特别推出了第二代GPT-SoVITS本地一键部署的整合包，让您无需复杂的环境配置即可快速上手。

  • 一键运行，免安装：下载解压后即可使用，无需复杂的环境配置。
  • 无限制使用：不限次数、不限时间、不限设备，无需网络即可使用。
  • 极速合成体验：快速生成高质量音频。
  • 服务保障：详细的图文和视频教程，7*12小时一对一在线服务，确保用户快速掌握使用技巧。

保姆级教程

我们提供了详细的视频教程和图文教程资料，确保即使是技术小白，也能在几分钟内熟练上手。

第一步：程序下载及启动

  1. 下载第二代GPT-SoVITS整合包（下载地址往下看），下载解压之后，可以看到四个文件，如下图：

  1. 启动程序：双击【GPT-SoVITS.exe】文件，稍等片刻，我们可以看到程序开始运行（出现程序控制界面），如下图：

请注意：使用工具期间，请勿关闭此窗口（可以最小化）。

当控制界面中【启动进度】达到100%，浏览器会已经自动开启操作界面，如下图：

特别注意：如果没有打开如上界面，可能是因为浏览器兼容问题，这个时候，需要动动你的小手指，将http://localhost:9874/这个地址，复制到你的谷歌浏览器地址栏，按回车键即可。

第三步：素材准备及预处理

  1. 素材准备：F5 AI社区提供了学习素材，如下图：

  1. 前置数据获取工具：选择【0-前置数据集获取工具】，点击【开启UVR5-WebUI】按钮，会跳出以下界面（如果没看到这个界面，可能是浏览器兼容问题），并根据以下步骤进行操作：
  • 选择模型：选择【onnx_dereverb_By_FoxJoy】模型；
  • 输入文件路径：输入文件夹路径（系统自带文件夹路径，按提示输入即可）；
  • 选择文件格式：选择【wav】无损音质文件格式；
  • 点击【转换】：点击转换，开始处理；
  • 处理完成：处理完成后，在【输出信息】模块返回“Success”信息，即代表处理成功。

  1. 0b-语音切分工具：回到【0-前置数据获取工具】界面，来到【0b-语音切分工具】模块，并进行以下操作：
  • 点击【关闭UVR5-WebUI】；
  • 输入文件路径：文件路径为上一流程返回的【uvr5_opt】文件夹地址（D:\GPT-SoVITS\output\uvr5_opt）；
  • 点击【开启语音切割】；
  • 处理完成：稍等片刻，处理完成后，【语音切割进程输出信息】模块返回“切割结束”信息，即代表处理成功。

  1. 0bb-语音降噪工具：来到语音降噪工具，文件路径及其他参数设置默认即可：
  • 点击【开启语音降噪】按钮：此时【开启语音降噪】的按钮呈半透明状态，说明正在降噪中。
  • 处理完成：稍等片刻，处理完成后，【语音降噪进程输出信息】模块返回“语音降噪任务完成”信息，即代表处理成功。

  1. 0c-中文批量离线ASR工具：
  • 点击【开启离线批量ASR】按钮。
  • 处理完成：稍等片刻，处理完成后，【ASR进程输出信息】模块返回“ASR任务完成 ”信息，即代表处理成功。

特别提示：GPT-SoVITS提供了“达摩ASR（中文）”和“Faster Whisper（多语种）”两种模型选择。如果是克隆中文语音，建议用阿里的达摩ASR，ASR模型尺寸根据显卡来，好卡选择large，识别更精准速度更快。如果是英文或者日韩，ASR模型这里用Faster Whisper，ASR模型尺寸同样根据显卡来，好卡选择large-V3，识别更精准速度更快。

第四步：模型训练及推理

首先回到主界面顶部，我们可以看到【1-GPT-SoVITS-TTS】模块，同时，在该模块下有【1A－训练集格式化工具】、【1B－微调训练】、【1C-推理】三个子模块。下面，我为大家详细讲解：

  1. 1A训练集格式化
  • 选择【1-GPT-SoVITS-TTS】模块；
  • 输入【模型名】，如“demo1”；
  • 选择【V2】版本；
  • 选择【1A－训练集格式化工具】，其他参数默认；
  • 点击【开启一键三连】；
  • 等待片刻，【一键三连进程输出信息】模块会显示“一键三连进程结束”，即代表任务完成。

  1. 1B微调格式化
  • 回到主界面顶部，在【1-GPT-SoVITS-TTS】模块下，选择【IB-微调训练】模块；
  • 点击【开启SoVITS训练】，其他参数及选项默认；
  • 等待片刻，【SoVITS训练进程输出信息】显示“SoVITS训练完成“；
  • 点击【开启GPT训练】按钮，其他参数及选项默认；
  • 等待片刻，【GPT训练进程输出信息】显示“GPT训练完成”。

  1. 1C-推理/语音合成
  • 回到主界面顶部，在【1-GPT-SoVITS-TTS】模块下，选择【IC-推理】模块；
  • 勾选【启用并行推理版本（推理速度更快）】，点击【开启TTS推理WebUI】；

  • 稍等片刻，浏览器会自动打开一个新的操作界面，如下图：

特别提示：如果系统自动打开的网页，没有显示该界面，可能是浏览器兼容问题。

  • 接下来正式开始推理，也就是语音合成的流程：
  • 点击【刷新模型路径】，从GPT模型列表中选择名称“-e15.ckpt”结尾的模型；
  • 从SoVITS模型列表中选择名称“_e8_s120.pth”结尾的模型；
  • 上传参考音频：将【slicer_opt】文件夹中选择一条你认为效果不错的音频上传或拖拽到【请上传并填写参考信息】模块下，文件位置如下图：

  • 选择参考音频语种，根据音频选择对应语种即可；
  • 勾选无参考文本模式；
  • 输入需要合成的文本：在【需要合成的文本】模块下输入文本；
  • 选择合成文本对应的语种；
  • 选择切分方式为“按中文句号。切”；
  • 点击【合成语音】按钮；
  • 以上操作完成后，在【输出的语音】模块中点击右上角【⬇】按钮，直接保存。也可以在【output】文件夹中以日期命名的文件夹中，找到合成好的音频文件。

这样，我们就成功克隆了想要的声音模型，并合成自己需要的音频了。

怕麻烦的同学，可以按照以下完整的图文教程进行操作。

是不是很简单？心动了吧？那就马上行动吧~

我们为您准备了本地离线整合包，解压即用。

下载地址：

百度网盘（永久有效）：

链接 https://pan.baidu.com/s/1-sQNYBAK8biNtPcWxF6TtA?pwd=i9sn 

提取码： i9sn

123网盘（永久有效）：

链接：https://www.123pan.com/s/5DsaTd-3wPc.html

夸克网盘（永久有效）：

链接：https://pan.quark.cn/s/ddffe37e53d7

关于我们的社区

F5 AI社区是一个紧跟全球AI技术和AI产品，秉承“有教程就会有工具”的运营理念，及时为用户整合、提供各类AI工具教程的社区，不管你是0基础学员还是有基础，我们从提供本地离线AI工具整合包开始，让您无限量不限时使用，更有全套在线教程助您无忧学完快速上手，同时我们的AI专家24小时在线，为您解答各种技术疑难问题，助您真正0门槛，0成本，即使是从未接触过的技术小白也能快速无脑掌握前沿的AI技能。

提示及说明

  • 我们分享的仅为AI产品的安装和使用教程，不对其产品的稳定性及可用性负责。
  • 在使用相关技术时，请了解并遵守法律及道德准则。

常见问题解答

问：支持在线指导吗？

答：支持，下载安装包后，可联系客服安排远程协助。

问：第二代GPT-SoVITS使用对电脑配置有要求吗？

答：建议使用5G以上显存的电脑，以获得更好的稳定性和运行速度。

问：可以在社交媒体平台上发布我的作品吗？

答：可以，但请确保遵守相关法律法规，尊重隐私权。

F5AI社区
关注
GPT-SoVITS声音克隆训练和推理（新手教程,附整合包）
本博客，博文仅代表个人操作经验，不能完全解决你的问题，仅供参考，佛系回复。
04-24 1365
Win10 专业版整合包。
GPT-SoVITS声音训练报错ZeroDivisionError: division by zero
本博客，博文仅代表个人操作经验，不能完全解决你的问题，仅供参考，佛系回复。
04-22 1079
GPT-SoVITS声音训练报错ZeroDivisionError: division by zero。检查GPT-SoVITS-0421文件夹下面有没ffmpeg等文件，如果没有按下面操作。2.从ffmpeg\bin下面文件全部复制一份到GPT-SoVITS-0421文件夹。检查数据集音频目录路径填写错误，错填成文本的目录路径，检查下面两地方路径。4.然后再次训练，成功解决（解决本案例）3.打开web服务，然后再次一键三联。这个GPT参考，感觉没大作用。1.先关闭运行中的cmd服务。
声音克隆术：用GPT-SoVITS-MindSpore打造你的数字声音分身
Kenji_Shinji的博客
07-26 901
因为token已经给音色划分了一个范围，因此给VITS重建目标音色的压力小了很多baseline：SoVITS大模型需要学习万物音色，从量变到质变，才能通过音色emb进行引导，找到相似音色并重建目标音色。那么就会从100个token中先挑出5个概率最大的token，这五个token的概率分别是（0.3，0.3，0.2，0.2，0.1），那么再挑出累加概率不超过0.6的token（0.3和0.3），再从这两个token中随机挑出一个token输出，其中前一个token被挑选到的几率更大。
GPT-SoVITS - few shot 声音克隆
AI + 工程
08-03 990
一、关于 GPT-SoVITS 功能： 二、安装 1、Windows 2、Linux 3、macOS 4、手动安装 4.1 安装依赖 4.2 安装 FFmpeg Conda 用户 Ubuntu/Debian 用户 Windows 用户 MacOS 用户 5、在 Docker 中使用 5.1 docker-compose.yaml 设置 5.2 通过 docker compose 运行 5.3 通过 docker 命令运行 三、预训练模型 四、数据集格式 五、（附加）命令行运行方式 六、致谢 理论研究 预训练
声音的克隆：GPT-SoVITS
dataddd的博客
05-13 1045
下载必要的使用的包。
声音克隆一键本地化部署 GPT-SoVITS
人的一生就是在学习的道路上不断进步
07-24 1085
声音克隆一键本地化部署 GPT-SoVITS
GPT-SoVITS 快速声音克隆使用案例：webui、api接口
weixin_42357472的博客
02-23 1828
参考： https://github.com/RVC-Boss/GPT-SoVITS环境： Python 3.10 PyTorch 2.1.2, CUDA 12.0 安装包： 1）下载项目 2）下载预训练模型 https://huggingface.co/lj1995/GPT-SoVITS 下载模型文件放到GPT-SoVITS/GPT-SoVITS/pretrained_models/ 下 3）项目GPT-SoVITS文件下运行 进入这页面点击开启tts推理ui，后台会新启动一个页面9872的端口页面9
声音克隆GPT-SoVITS 2.0软件和详细的使用教程！
托尼不是塔克
08-22 1210
天命人，请允许我先蹭个热点！文章写了一半，被《黑神话悟空》刷屏了。突发奇想，用里面的声音来做个素材试试看。B站捞了一点声音素材，随便剪一剪，训练一把过，没有调优，就直接拿来用了。情绪还差点意思，音色克隆的还不错。下面进入正题！声音克隆项目迎来2.0版本了！目前，这个软件，应该是我们能接触的软件。主要特点是。快速模式，只要十秒音频，无需训练，直接克隆声音。训练模型，也只要一分钟的左右的音频，十几分钟时间就能搞定。本文，就不在过多介绍这个项目了，可以参考之前的两篇文章。！
声音克隆教程-GPT-SoVITS
月流霜的专栏
05-27 1358
这个窗口实际就是调整每个语段，如果你的输入音频很大，有十几分钟，切割之后可以做一些合并，操作也很简单，选中片段然后点击。，在声音训练上面非常简单，几乎可以说是傻瓜式操作，虽然它也有一些弊端和缺点，但是无疑在目前市面上，，增加视频的趣味性以及观看性，由于我这台电脑的显卡限制，我导入训练的素材只有四十秒，所以语音的。是目前市面上最好的语音克隆工具，且开源，虽然用到的所有技术不是最新的，但它开创性的加入了。，但是我看了很多其他博主的测试，如果是原声情况下，自己的声音还原度基本可以以假乱真。
GPT-SoVITS-WebUI 声音克隆，强大的少样本语音转换与语音合成Web用户界面，支持中英日语
01-22
功能： 1、零样本文本到语音（TTS）： 输入5秒的声音样本，即刻体验文本.../4、WebUI工具： 集成工具包括声音伴奏分离、自动训练集分割、中文自动语音识别(ASR)和文本标注，协助初学者创建训练数据集和GPT/SoVITS模型。
探索 ShellGPT：终端中的 AI 助手
AIGC搞起
09-22 1010
在当今快速发展的技术领域，命令行界面（CLI）依然是开发者和系统管理员的强大工具。但记忆复杂的命令和语法对于新手来说可能是个挑战。这就是ShellGPT库应运而生的原因。它是一个基于 AI 大型语言模型（LLM）的命令行工具，能够理解自然语言并生成相应的 shell 命令、代码片段和文档，极大地提高了效率并减少了对外部资源的依赖。ShellGPT 是一个强大的命令行工具，它通过 AI 技术简化了命令行操作，使得用户能够更高效地完成任务。
大语言模型量化方法GPTQ、GGUF、AWQ详细原理
zzZ_CMing的博客
09-23 1116
GPTQ 通过梯度优化对量化误差进行最小化，适用于后训练阶段的精细量化，精度较高。GGUF 采用全局统一的量化策略，具有简单高效的优点，适用于资源受限的部署场景，但可能导致某些模型层的精度损失。AWQ 关注激活值的量化，通过分析激活值的分布对量化策略进行自适应调整，精度更高但计算复杂度较大。
介绍GPT-o1:一系列解决困难问题（ science, coding, and math ）的推理模型
Everyday try to become better -Kobe Bryant
09-23 869
这里有一个问题，就是，所招募的专家测试结果是找的各个专业的phd做完整的测试，然后取精确率的平均值作为对比数值，还是请他们分别做自己所属专业的部分试题，然后将结果汇总作为专家结果。我们认为，使用思维链可以在安全性和一致性方面取得重大进展，因为（1）它使我们能够以清晰的方式观察模型思维，（2）关于安全规则的模型推理对分布外的场景更稳健。然而，为了实现这一点，模型必须能够以不变的形式自由表达其思想，因此我们无法将任何政策合规性或用户偏好训练到思想链上。例如，在未来，我们可能希望监控思维链，寻找操纵用户的迹象。
探索MemGPT：AI界的新宠儿
AIGC搞起
09-22 1075
在AI的世界里，对话生成和文档分析等任务对上下文长度有着天然的需求。然而，现有的大型语言模型（LLMs）受限于固定长度的上下文窗口，这限制了它们在处理长对话或长文档时的能力。MemGPT的出现，就是为了解决这一难题。它通过智能管理不同存储层级，使得LLMs能够有效地处理超出其固定上下文窗口的上下文信息。MemGPT是一个创新的库，它通过模拟操作系统的内存管理技术，为LLMs提供了一种处理无限上下文的方法。无论是创建持久聊天机器人，还是进行复杂的文档分析，MemGPT都能提供强大的支持。
FastGPT大模型介绍
AngelCryToo的专栏
09-25 404
FastGPT大模型以其高效的训练与推理能力，适用于多种自然语言处理任务。与其他大模型相比，它在性能和效率上具有优势，但在某些定制化任务中可能不如一些专门针对特定领域优化的模型。选择合适的模型应根据具体应用场景和需求进行评估。如需更详细的信息或特定方面的深入探讨，请随时告诉我！
什么是 GPT？通过图形化的方式来理解 Transformer 架构
python12345678_的博客
09-21 1857
GPT 是 Generative Pre-trained Transformer 的缩写。首个单词较为直接，它们是用来生成新文本的机器人。“Pre-trained” 指的是模型经历了从大量数据中学习的过程，这个词暗示了该模型还有进一步在特定任务中进行额外训练和微调的可能。然而，最后一个词，才是真正重要的部分。Transformer 是一种特定类型的神经网络，一个机器学习模型，它是现今 AI 高速发展的核心创新。我希望通过这个视频和接下来的章节，以一种便于理解的方式，阐述 Transformer 内部实际发生
OpenAI GPT o1技术报告阅读（3）-英文阅读及理解
聚梦小课堂
09-20 883
这次我们继续看一个openai o1模型做英文阅读理解的案例。
GPT办公与科研应用、论文撰写、数据分析、机器学习、深度学习及AI绘图
最新发布
JWW19903121626的博客
09-26 1091
ChatGPT科研必备GPT汇总介绍（寻找好用的GPTs模型、提示词优化、生成思维导图、生成PPT、生成视频、制定个性化的学习计划、检索论文、总结论文内容、总结视频内容、撰写论文、论文翻译、论文润色与修改、参考文献格式管理、论文评审、数据分析、生成代码、代码调试等）1、课题申请书撰写技巧及要点剖析（项目名称、关键词、摘要、立项依据、参考文献、研究目标、研究内容、研究方案、关键科学问题、可行性分析、创新点与特色之处、预期研究成果、工作基础等）折线图、柱状图、饼图、地图等各种图形的绘制）Python程序注释）
GPT-SoVITS一键三连报错
07-09
GPT-Sovits是一款基于人工智能的语言模型，它可能遇到"一键三连报错"的情况是指连续触发了某个错误三次。这种现象通常出现在用户在尝试使用该模型进行特定操作（如生成文本、翻译等）时，系统连续返回相同的错误信息。这可能是由于网络连接问题、API调用限制、输入数据不符合模型预期或者其他软件兼容性问题引起的。 要解决这个问题，你可以尝试以下几个步骤： 1. 检查网络连接是否稳定，如果网络不稳定，重试操作。 2. 确保使用的命令或参数格式正确无误。 3. 如果是API调用频率受限，等待一段时间后再试，或者查看是否有相关的调用频率限制规则。 4. 清除缓存或重启应用，有时候临时文件的问题可能导致这类错误。 如果以上步骤无法解决问题，建议查阅官方文档或联系GPT-Sovits的技术支持团队寻求帮助。同时，记得检查错误的具体信息，以便更准确地定位问题所在。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值