AI语音变声器（RVC）小白学习记录

已于 2024-07-01 23:03:40 修改
阅读量8.6k 收藏 88
点赞数 34
文章标签： 人工智能 学习 python 语言模型 语音识别
于 2024-07-01 19:52:38 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_67116937/article/details/140106417
版权

前言

学习RVC变声器的原因，是因为前不久hanser配音的一款国产galgame《饿殍：明末千里行》。看完后劲很大，让人总忍不住回想，意难平。在网上也看到了很多ai训练的游戏主角满穗的声音进行的二创，ai满穗演唱的歌曲等等。于是就萌生了学习ai语言变声器的想法。
这个文章主要记录一下笔者的学习过程，也希望对新接触ai变声器的读者有所帮助。

成果展示

先看看成果吧，可以的话，帮忙点个赞呗。
https://www.bilibili.com/video/BV1ut8ReME5U/?spm_id_from=333.999.0.0

在这里插入图片描述

文件下载

RVC下载

变声器本体，无论是ai翻唱，还是ai变声都得用这个

RVC-WEB github地址:github.com/RVC-Project/Retrieval-based-Voice-Conversion-WebUI
这个其实b站上搜搜都能下，这个是GitHub上的链接，笔者当时是随便找了一个up主分享的网盘链接下的

voicemeeter下载

这是用来创建虚拟声卡的，变声器必备，ai翻唱不需要

https://vb-audio.com/Voicemeeter/index.htm
找到potato版本下载就好
详见视频
https://www.bilibili.com/video/BV1YK411r7YS/?spm_id_from=333.788&vd_source=2459cdf9e0f473ac66223b38d16a54eb
在这里插入图片描述

NVIDIA Broadcast下载

这个是用来降噪的，不是必备，但变声器降噪不好，所以更好的效果还是建议下一个
官网下载较慢，可能需要科学上网

英伟达官网→www.nvidia.cn
详见视频
https://www.bilibili.com/video/BV1it421J7VE/?spm_id_from=333.880.my_history.page.click&vd_source=2459cdf9e0f473ac66223b38d16a54eb
在这里插入图片描述

AI训练（如果只想用现成的变声器可以跳过）

一、准备干声

下载你想要ai训练角色的视频，最好挑一些正常的视频，尽量不要那些电音多、杂音多、有多个声部或者角色情绪激动、声音颤抖的视频，否则训练效果可能受影响。
RVC变声器需要的是音频，不需要字幕，对音频的长度也没有硬性要求。只要你的音频里，声音都是你想训练的那个角色，并且声音干净就可以。

uvr5下载和使用

这个是ai翻唱准备工作用的，用来在乐曲或有背景音乐的情况下实现人声和背景声的分离，方便制作干声集。

Github链接：https://github.com/Anjok07/ultimatevocalremovergui/
详见视频
在这里插入图片描述

利用UVR5提取人声和背景音乐

将你下载好的视频，放到uvr5模型中，进行人声和背景音乐的提取。
详情请见上面uvr5的下载

二、切割（选）

上面已经说过了RVC是不需要将长视频切成短小的视频才可以进行训练的。但是如果对于番剧之类的长视频，其中包含了很多个角色的语音，就需要将它切成好多部分，并选择其中只含有你想训练的角色的声音的部分。
手动将视频切割显然是太过困难，要知道一个视频可能要快一个小时，要切的地方会有很多。这时就可以借助于ai工具

1、利用quickcut进行视频切割

quickcut中的切割功能需要借助于字幕，所以这个切割功能对于那些有字幕文件的番剧或电影会比较友好。

quickcut下载

https://gitee.com/haujet/QuickCut/releases
详见视频
https://www.bilibili.com/video/BV1uT421y7ji/?spm_id_from=333.880.my_history.page.click&vd_source=2459cdf9e0f473ac66223b38d16a54eb
在这里插入图片描述

quickcut切割视频

详见视频
https://www.bilibili.com/video/BV18T4y1E7FF?p=3&vd_source=2459cdf9e0f473ac66223b38d16a54eb
在这里插入图片描述

2、利用audio slicer进行视频切割

这个软件是根据静音段去自动切片，比起上面的quickcut只能说各有千秋，毕竟赛道不同。quickcut需要字幕并可以切割有背景音乐和杂音的视频，而audio slicer则是不需要字幕并不可以切割有背景音乐或者杂音多的视频。
这个软件笔者还没有用过，详见视频 2:23 的位置。（up主使用的sovits变声器和svc操作方式差不多，在SVC遇到问题的时候，也可以来参照该视频）
https://www.bilibili.com/video/BV1H24y187Ko/?spm_id_from=333.880.my_history.page.click&vd_source=2459cdf9e0f473ac66223b38d16a54eb
在这里插入图片描述

三、利用AudioDataset挑选切割后的文件

这一步用audiodataset也是为了节省手动的时间，如果切割后的视频总量比较少的话，也可以手动挑选，只需要最后将选中的音频文件放到一个文件夹中就可以了。
注意：这个软件我用的是visual studio打开，这个相信只要学过c语言或者c++的都下过。据我观察，似乎是一个c#文件，但我还没学过，所以不能下定论，总之visual studio是支持的。

AudioDataset下载与使用

https://github.com/2DIPW/audio_dataset_screener
详见视频
https://www.bilibili.com/video/BV17z4y1i7dq/?spm_id_from=333.880.my_history.page.click&vd_source=2459cdf9e0f473ac66223b38d16a54eb
在这里插入图片描述
和视频
https://www.bilibili.com/video/BV1hs4y1N7Cd/?spm_id_from=333.880.my_history.page.click&vd_source=2459cdf9e0f473ac66223b38d16a54eb
在这里插入图片描述
这两个视频是前后的关系，都看一遍会对这个文件的操作理解的更深。

四、利用干声集进行训练

详见视频
https://www.bilibili.com/video/BV1pZ421J7ox/?spm_id_from=333.999.0.0&vd_source=2459cdf9e0f473ac66223b38d16a54eb
在这里插入图片描述

实时变声器（RVC）

这个详见视频，讲的很详细
https://www.bilibili.com/video/BV1Wp4y1g76w/?spm_id_from=333.999.0.0&vd_source=2459cdf9e0f473ac66223b38d16a54eb
在这里插入图片描述

文字变声器（GPT-Sovits）

RVC和GPT-Sovits都是 b站up主 花儿不哭 大佬的开源项目。
这两者的区别主要在于，RVC训练完成后，是将语音转换成语音，GPT-Sovits训练完成后，是将文字转化为语音。
不同的赛带也带来了对训练干声集不同的需求，GPT-Sovits对干声集的长度的需求较低，生成效果较好。
但根据笔者实测，目前这两种不同训练方式的训练模型好像不可以通用。（如果有大佬发现如何进行通用，欢迎指正）
在这里，推荐大家看这个视频
https://www.bilibili.com/video/BV1P541117yn/?spm_id_from=333.880.my_history.page.click&vd_source=2459cdf9e0f473ac66223b38d16a54eb
在这里插入图片描述

当然，如果你想了解更多关于该变声器原理方面的知识，请关注up主 花儿不哭 ，并查询官方教程，地址如下

RVC官方教程：https://www.bilibili.com/video/BV1pm4y1z7Gm/?spm_id_from=333.999.0.0&vd_source=2459cdf9e0f473ac66223b38d16a54eb
GPT-Sovits官方教程：https://www.bilibili.com/video/BV12g4y1m7Uw/?spm_id_from=333.999.0.0

常见问题解答

笔者在b站和csdn上找了很久，感觉下面的这个视频讲解的问题很有用，很多时候都会遇到，详见视频
https://www.bilibili.com/video/BV1Dc411q72a/?spm_id_from=333.880.my_history.page.click&vd_source=2459cdf9e0f473ac66223b38d16a54eb
在这里插入图片描述

ai变声傻瓜式简化版（只支持实时变声）

这个视频教程包含了一个入梦变声器的虚拟声卡，并蕴含了三个模型，允许你跳过训练和配置环境的过程，直接进行变声。
（笔者学习初期，也享受到了该教程的便利，但并不是极其推荐大家选择傻瓜式ai变声，会少了很多的学习过程，如果只是新手用来尝试一下，也无不可。）

详见视频
https://www.bilibili.com/video/BV1MT421v7QP/?spm_id_from=333.880.my_history.page.click&vd_source=2459cdf9e0f473ac66223b38d16a54eb
在这里插入图片描述

结语

其实RVC本身和GPT-Sovits中本身就集合了很多比如UVR5，还有视频切割软件。懒人的方法可以直接利用这些集合的部分进行分离音声、切割视频。笔者本身也是到了最后才发现其实很多软件都可以简便地通过变声器集合的部分代替。
但笔者认为，直接利用变声器自带的部分固然快，但是学习ai变声器的过程中，如果只是跟着教程走一遍，简简单单地实现变声功能，显然是下策。笔者认为，我们应该更专注于学习新知识的过程。总会有意料之外的收获。就比如笔者原来只是打算学习一下ai翻唱。但是学着学着，这个不懂，那个也不懂。然后就看了很多相关的视频。虽然每个视频也学习的不是很深入，但是碎片化的知识，一点一点地构建起了笔者对ai变声器这部分知识的总体认知，反而学习到了更多的东西。其实，寻找资源的过程本身也是一种学习。随着时代的发展，笔者认为如何在海量的数据中，寻找我们需要的知识，会成为我们未来学习的一大重点，所以更需要多加锻炼。
笔者十分享受学习这部分知识的过程，也让人不禁感叹ai发展之快。笔者大胆猜测，到了未来，我们大多数人很难完全了解每个软件的原理，我们更需要做的，是与时俱进，学习开发出来的新软件，新程序的使用方法，拓展新的应用场景。用兴趣，引领我们学习，才能更好地跟住时代，做出更好玩的软件，开发出新的玩法。
仅以此篇文章，记录我学习ai变声器的过程和思考。

备注

在笔者的学习过程中，曾参考并学习过CSDN上的“AI语音变声器学习记录：RVC和SVC”一文，对我帮助很大，特在此列出，表示感谢。（也推荐大家去看这篇文章，地址如下）
https://blog.csdn.net/qq_51502150/article/details/132400699?ops_request_misc=&request_id=&biz_id=102&utm_term=ai%E5%8F%98%E5%A3%B0%E5%99%A8&utm_medium=distribute.pc_search_result.none-task-blog-2allsobaiduweb~default-3-132400699.142v100pc_search_result_base6&spm=1018.2226.3001.4187

拨冗窥光
关注
RVC-WebUI: 轻松实现高质量AI语音转换的开源工具
2401_87189860的博客
10-22 5398
RVC-WebUI为AI语音转换技术的普及和应用开辟了新的可能性。它不仅为研究者和开发者提供了宝贵的工具,也为普通用户带来了探索语音技术的机会。随着项目的不断发展和社区的积极贡献,我们可以期待RVC-WebUI在未来带来更多令人兴奋的创新和应用。
【语音克隆整合包及教程】音浪来袭，GPT-SoVITS V2 让你的创意发声
lin_xuezhang的博客
10-30 1009
F5 AI社区是一个紧跟全球AI技术和AI产品，秉承“有教程就会有工具”的运营理念，及时为用户整合、提供各类AI工具教程的社区，不管你是0基础学员还是有基础，F5 AI社区从提供本地离线AI工具整合包开始，让您无限量不限时使用，更有全套在线教程助您无忧学完快速上手，同时社区的AI专家24小时在线，为您解答各种技术疑难问题，助您真正0门槛，0成本，即使是从未接触过的技术小白也能快速无脑掌握前沿的AI技能。训练完成后，选择你训练好的模型，上传一段3-10秒的参考音频，并输入需要合成的文本内容。
原神胡桃RVC模型完整版
09-25
仅限于学习交流，不可用于商用，不可用于实施违法犯罪活动，如有违反，后果自负！！
入梦RVC变声器一键包集成了45款女声模型，15款男声模型
u010093380的博客
02-17 383
入梦RVC变声器一键包集成了45款女声模型，15款男声模型
RVC变声器以及图文教程
最新发布
u010093380的博客
02-17 654
RVC变声器是由B站花儿不哭大佬开发的免费软件
【软件介绍】变声工具RVC本地部署使用方法
johnny_hhh的博客
11-26 3819
核心功能：RVC软件最突出的特点是其实时处理能力，能够在几乎无延迟的情况下完成语音信号的接收、处理与输出。应用场景：适用于直播、在线游戏、语音聊天等多种场景。
RVC克隆自己的声音并令其唱歌
imoo的笔记
01-08 3355
将镜像的详情页也打开，等会要用，也可以看看其介绍（https://www.codewithgpu.com/i/RVC-Project/Retrieval-based-Voice-Conversion-WebUI/RVC_WebUI）训练完成后，你可以在jupyterlab的/Retrieval-based-Voice-Conversion-WebUI/weights/找到训练结果，尾缀为.pth，这就是你的声音文件，将其下载到本地。选择公网网盘-阿里云盘，下载你的声音文件到实例中，下载路径不用变。
AI语音变声器学习记录：RVC和SVC
热门推荐
lmttlw的博客
08-21 1万+
玩了两个多月的AI语音，还是挺有意思的，收获颇多，不禁让人感叹AI已经进化到如此境界了，之前还有AI实时换脸的，两者配合起来使用简直让人不敢想象，这世上还有什么是真的。总之就是做一个学习记录，从下载到训练到推理到使用推理出来的音频做视频之内的，还有一些音频干声处理心得以及部分bug的解决方式。训练要求：N卡显存最好是6G往上（最新版的RVC似乎支持A卡，有需求的可以自己试试）
RVC AI变声器0614最新版 新增共振峰偏移功能/实时更改模型音色/更真实
MMX7088的博客
11-24 889
此版本为RVC AI变声器最新版本，更新时间是2024年6月14号，此版本支持AMD显卡+N卡，AMD显卡版比N卡效果差，本次更新N卡支持3G显存以上。
【AI实时变声器，声音甜甜的小姐姐背后竟是抠脚大汉】
天风的人工智能博客
06-07 3900
这是一款基于AI算法的实时变声器，如果你不懂AI也没事，直接使用我提供的一键安装包
“变声达人？入梦RVC变声器让你轻松变出不同的声音！”
Winfredzhang的博客
07-23 5954
入梦RVC变声器的使用指南。入梦RVC是一款功能强大的变声器，可以让您在语音通话、游戏语音聊天或录音时轻松变换您的声音。下面是使用入梦RVC变声器的步骤：首先，您需要下载并安装入梦RVC变声器软件。安装完成后，启动软件并选择您想要使用的音频设备。安装和启动简单按照下一步的提示一路到底。1）登录：用户名：123456密码：1234561）安装声卡：2）打开音频设置查看。如有以上第2项意味着声卡安装成功。3）设置系统音频。
RVC变声器入门
qq_40773212的博客
09-29 2327
使用少量数据进行训练也能得到较好结果(推荐至少收集10分钟低底噪语音数据)即便在相对较差的显卡上也能快速训练使用最先进的人声音高提取算法InterSpeech2023-RMVPE根绝哑音问题。效果最好（显著地）但比crepe_full更快、资源占用更小使用top1检索替换输入源特征为训练集特征来杜绝音色泄漏。
RVC懒洋洋模型完整版
09-05
RVC懒洋洋模型完整版
第二代 GPT-SoVITS V2：解锁语音克隆与合成的无限可能
lin_xuezhang的博客
10-22 1758
F5 AI社区是一个紧跟全球AI技术和AI产品，秉承“有教程就会有工具”的运营理念，及时为用户整合、提供各类AI工具教程的社区，不管你是0基础学员还是有基础，F5 AI社区从提供本地离线AI工具整合包开始，让您无限量不限时使用，更有全套在线教程助您无忧学完快速上手，同时社区的AI专家24小时在线，为您解答各种技术疑难问题，助您真正0门槛，0成本，即使是从未接触过的技术小白也能快速无脑掌握前沿的AI技能。在语音合成过程中，能够更加精准地识别和处理多音字，使合成的语音更加自然流畅，符合人类的语言习惯。
“声”临其境，一键克隆：第二代GPT-SoVITS 让你的声音自由飞翔
2401_86055303的博客
09-20 2143
第二代GPT-SoVITS声音克隆工具，支持中英日韩粤等多种语言的声音合成，仅需一分钟的音频样本即可训练出高质量的语音模型，中英粤等多种语种语音合成，效果炸裂。
【AI声音克隆本地整合包及教程】第二代GPT-SoVITS V2：声音克隆的新境界
lin_xuezhang的博客
10-16 2048
F5 AI社区是一个紧跟全球AI技术和AI产品，秉承“有教程就会有工具”的运营理念，及时为用户整合、提供各类AI工具教程的社区，不管你是0基础学员还是有基础，F5 AI社区从提供本地离线AI工具整合包开始，让您无限量不限时使用，更有全套在线教程助您无忧学完快速上手，同时社区的AI专家24小时在线，为您解答各种技术疑难问题，助您真正0门槛，0成本，即使是从未接触过的技术小白也能快速无脑掌握前沿的AI技能。第五步：导出结果，点击【下载】按钮，选择你想要保存的位置，即可将抠好的素材保存下来。
拥有AI「变声术」，秒杀了多年苦练的模仿艺能
AI科技大本营
01-07 4981
「免费学习 60+ 节公开课：投票页面，点击讲师头像」作者 | Daniel Chen，爱奇艺资深研发工程师出品 | AI科技大本营（ID：rgznai100）【导读】什么是Voice...
RVC实时变声器最新版
天风的人工智能博客
08-05 8649
上次写的RVC变声器更新了，可能是用户的激增，原作者也更新的比较勤，本文只对变声器客户端更新使用教程，其他训练等等与上次一样。旧版教程。
一个AI实时变声工具
wutao22的博客
07-10 1959
“一个基于VITS的简单易用的语音转换（变声器）框架。”配置要求1 win10或win11系统,老显卡驱动要更新到最新版本2 显卡750TI以上,如需训练音源,需RTX以上显卡,显存越大越好3 CPU支持AVX2指令集,性能越高越推理延迟越低,建议十代酷睿或三代锐龙以上4 清晰干净的麦克风,声卡麦克风最优界面预览测试效果如下：测试下来对麦克风的要求很高，我用的蓝牙耳机，导致噪音比较大，声音也不是...
rvc变声器软件下载佐助音色
01-14
### 下载 RVC 变声器软件 为了下载 RVC (Real-time Voice Changer) 软件并获取特定的声音包，比如佐助(Sasuke)音色，可以按照如下说明操作： #### 获取 RVC 实时变声器源码 RVC 是一个开源项目，可以从指定的 GitCode 地址下载该项目。通过命令行工具如 `Git` 或者直接从网页界面下载 ZIP 文件来获取最新版本的代码库[^1]。 ```bash git clone https://gitcode.com/gh_mirrors/vo/voice-changer.git cd voice-changer ``` #### 安装依赖项 进入解压后的文件夹后，根据官方文档安装必要的 Python 库和其他依赖项。通常这一步骤会涉及到创建虚拟环境以及运行 pip install 命令来安装 requirements.txt 中列出的所有依赖关系。 ```bash pip install -r requirements.txt ``` #### 配置音高提取模型 如果希望使用更先进的 RMVPE 人声分离技术，则需单独下载 rmvpe.pt 模型参数文件，并将其放置于项目的根目录下以便程序能够识别和加载该模型用于处理音频数据[^2]。 #### 寻找或训练佐助音色 对于想要使用的具体角色音色——例如这里的“佐助”，有两种途径可以获得： - **现成资源**：在网络上查找是否有其他人已经分享过类似的预训练模型。 - **自定义训练**：收集足够的目标人物语音样本（大约5分钟高质量录音），利用上述提到的方法，在 autodl 平台或其他支持 GPU 加速的服务上进行个性化声音克隆训练[^3]。 请注意，由于版权原因，公开可用的角色音色可能有限；因此，很多时候用户需要自己准备素材来进行定制化开发。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值