Vits2.3-Extra-v2:中文特化，如何训练及推理（新手教程）

已于 2024-03-12 18:01:23 修改
阅读量830 收藏 1
点赞数 2
分类专栏： 开源AI项目 文章标签： 人工智能 Bert-Vits2 声音克隆
于 2024-02-11 22:04:09 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_42672685/article/details/135854100
版权
本文档提供Vits2.3-Extra-v2针对中文的训练和推理详细步骤。首先，通过auto_DataLabeling工具切分和标注音频数据，然后对音频进行重采样并生成Bert特征文件。接着，配置config.yml文件并开始训练，每千步保存一次模型。训练完成后，选择最佳模型进行推理，启动web服务进行音频合成。
摘要由CSDN通过智能技术生成

环境：

Vits2.3-Extra-v2:中文特化修复版

auto_DataLabeling

干声10分钟左右.wav

问题描述：

Vits2.3-Extra-v2:中文特化，如何训练及推理（新手教程）

解决方案：

一、准备数据集

切分音频

本次音频数据自己录制干声10分钟左右

1.运行auto_DataLabeling\slicer-gui\slicer-gui.exe

2.点击左上角Add Audio Files，导入源音频文件

在这里插入图片描述

静音检测
本应用根据 RMS（均方根）来测量音频的安静度并检测静音部分，计算每个帧的 RMS 值（帧长度设为 hop size（跳跃步长）），RMS 低于 threshold（阈值）的所有帧都将被视为静默帧。

音频切片
一旦检测到自上次切片以来的有效（声音）
了解本专栏 订阅专栏 解锁全文 超级会员免费看
玩人工智能的辣条哥
关注
  • 2
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 1
    评论
专栏目录
订阅专栏
WSL下如何使用Ubuntu本地部署Vits2.3-Extra-v2:中文特化修复版（新手从0开始部署教程）
本博客，博文仅代表个人操作经验，不能完全解决你的问题，仅供参考，佛系回复。
02-11 976
硬：台式电脑1.cpu:I5 11代以上2.内存16G以上3.硬盘固态500G以上4.显卡N卡8G显存以上20系2070以上本案例英伟达4070 12G5.网络可连github软：Win10 专业版 19045以上Extra-v2:中文特化修复版Extra-Fix分支底模：Bert-VITS2_中文特化修复底模_0.0.12.python 3.11以上3.git4.cuda11.8。
3DSlicer20：GUI Structure
沈春旭的博客
08-19 3025
1.前言 Slicer在Version4之前，GUI使用Kitware公司的GUI工具KWWidget开发，KWWidget不支持Unicode。而Slicer的最新Version4使用了Nokia公司的Qt代替KWWidget进行开发。 2.Slicer界面结构 Slicer应用程序的结构由应用程序核心、Slicer模块组成。 应用程序核心部分实现Slicer用户界面，提供数
人工只能深度学习，语音克隆项目 Bert-vits2项目 版本号：2.3 天童爱丽丝语音模型，语言：日语，训练步数：6000
12-28
人工智能深度学习，语音克隆项目 Bert-vits2项目，目前效果最完美的开源TTS项目 版本号：2.3 文件包括，模型本体G_6000.pth 配置文件config.json 天童爱丽丝语音模型，语言：日语，训练步数：6000 语气韵律完美，抑扬顿挫，语笑嫣然，自然流畅，适合作为小说阅读、口播、口替等功能领域。 请勿用于非法用途，也不得用作商业领域。
vits2中文特化版使用
最新发布
m0_51003570的博客
07-13 1907
近日因为一些机缘巧合，尝试部署了一下vits2，遇到了一些问题，相比两年前的vits，部署方法更为繁琐，我使用的是，中的中文特化版的vits，部署在Windows11，所用显卡为2080ti。这个模型的作者已经提供了非常完善的教程，在这里，但是本人作为新手还是遇到了很多问题，在此总结一下本人部署的流程。
VITS声学模型的云端训练和本地推理
m0_64664995的博客
06-29 2268
云端训练白嫖谷歌的显卡，本地推理需要有一张3GB显存及以上的N卡。
首次引入大模型!Bert-vits2-Extra中文特化版40秒素材复刻巫师3叶奈法
刘悦的技术博客
01-06 2654
Bert-vits2项目又更新了，更新了一个新的分支：中文特化，所谓中文特化，即针对中文音色的特殊优化版本，纯中文底模效果百尺竿头更进一步，同时首次引入了大模型，使用国产IDEA-CCNL/Erlangshen-MegatronBert-1.3B大模型作为Bert特征提取，基本上完全解决了发音的bad case，同时在情感表达方面有大幅提升，可以作为先前V1.0.1纯中文版本更好的替代。
基于VITS 快速微调的本地环境配置、本地训练以及本地推理的教程
cf2xh123的博客
03-08 5203
该教程能教会读者如何使用本地服务器使用VITS微调训练自己的想要的角色的声音并且本地推理，注意只能使用linux版本进行训练，但是推理可以在windows上完成。
记录一下自己用VITS推理后保存WAV音频文件遇到的一点坑
weixin_42033112的博客
03-17 706
-2.4079e-05, -7.9230e-06, -7.0140e-06]，以浮点数格式表示的，每个采样点的范围在-1到1之间，而使用wave库保存为WAV文件，需要整数格式，在之前的代码前加上这一句问题就解决了。起初我一直以为是我采样率和采样深度之类的参数设置有问题，最后看了一下这两个库的手册才知道，wavfile模块可以自动处理采样精度和音频数据的格式，所以背后是帮你做了数据转换。当我尝试用下面的wave库保存时，保存的音频有非常大的噪声。
封神榜科技成果 - 国产训练大模型
人工智能曾小健
06-15 832
系列名称需求适用任务参数规模备注二郎神通用语言理解9千万-39亿参数处理理解任务，拥有开源时最大的中文bert模型，2021登顶FewCLUE和ZeroCLUE闻仲通用语言生成1亿-35亿参数专注于生成任务，提供了多个不同参数量的生成模型，例如GPT2等燃灯通用语言转换7千万-50亿参数处理各种从源文本转换到目标文本类型的任务，例如机器翻译，文本摘要等太乙特定多模态8千万-10亿参数应用于跨模态场景，包括文本图像生成，蛋白质结构预测, 语音-文本表示等余元特定领域。
手把手教你声音克隆（so-vits-svc）
热门推荐
04-13 3万+
视频里所使用的技术是 so-vits-svc，是音频转音频，属于音色转换算法，支持正常的说话，也支持歌声的音色转换。下面具体介绍如何使用so-vits-svc。
Slicer:用于探索 3D 图像（堆栈）的 GUI-matlab开发
05-29
用于显示和探索各种类型 3D 图像的图形用户界面。 管理灰度、RGB、标签图像。 允许正交显示、等值面重建、更改强度范围或查找表以及基本类型转换。 “MatImage”工具箱的一部分（ http://github.com/dlegland/matImage ） 需要安装 GUI 布局工具箱
slicer-gui-windows-v1.2.1.zip
04-24
slicer-gui-windows-v1.2.1.zip
TTS | 保姆级端到端的语音合成VITS论文详解及项目实现(超详细图文代码)
weixin_44649780的博客
09-18 8688
提出一种TTS模型框架VITS，用到normalizing flow和对抗训练方法，提高合成语音自然度，其中论文结果上显示已经和GT相当。是结合了VAE和FLOW的新架构。在俩各数据集中的实验结果论文的主要贡献：首个自然度超过2-stage架构SOTA的完全E2E模型。MOS4.43, 仅低于GT录音0.03。得益于图像领域中把Flow引入VAE提升生成效果的研究，成功把Flow-VAE应用到了完全E2E的TTS任务中。训练非常简便，完全E2E。
python bert_gen.py 报错Unable to load weights from pytorch checkpoint file for......
本博客，博文仅代表个人操作经验，不能完全解决你的问题，仅供参考，佛系回复。
01-26 600
WIN10。
AI语音合成 VITS Fast Fine-tuning，半小时合成专属模型，部署训练使用讲解
Love丶伊卡洛斯
07-27 7458
功能，或者自建内网穿透。
AI数字人：基于VITS模型的中文语音生成训练
十年以上架构设计经验，专注于软件架构和人工智能领域，对机器视觉、NLP、音视频等领域都有涉猎
05-27 8290
VITS（Variational Inference with adversarial learning for end-to-end Text-to-Speech）是一种结合变分推理（variational inference）、标准化流（normalizing flows）和对抗训练的高表现力语音合成模型。
svc/rvc模型训练前的音频数据处理
2301_79607161的博客
01-13 2025
uvr5安装与模型下载。
Autolabelimg自动标注工具
m0_62571112的博客
03-14 8365
在做机器视觉有监督方面,通常会面对很多数据集，然后去进行标注，而有些时候我们面对庞大数量数据集的情况下也会感到十分头疼，这个时候Autolabelimg这个自动标注神器就应运而生了。让我们可以实现批量处理图片和标注文件。
so-vits-svc 参数详解
10-06
so-vits-svc是一个工具，它可以将一首歌的音色换成另外一个人的音色，实现原理是使用深度学习技术。关于so-vits-svc的参数详解如下： - `--input_file`：指定输入音频文件的路径。 - `--output_file`：指定输出音频...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

玩人工智能的辣条哥

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值