举世无双语音合成系统 VITS 发展历程（2024.3 PAVITS）

最新推荐文章于 2024-05-21 09:40:52 发布
最新推荐文章于 2024-05-21 09:40:52 发布
阅读量411 收藏
点赞数
分类专栏： # Audio/ASR 文章标签： 语音
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u013250861/article/details/138257132
版权
本文详细梳理了VITS语音合成系统的演进历程，从2021年的ICML发布到2024年的PAVITS，涵盖多个改进项目，如VITS歌声合成、变声、语音克隆等。各研究机构和公司通过优化模型结构、引入新方法，提升了模型的效率、音质和风格控制能力。此外，还介绍了基于VITS的开源项目和工具，如OpenVoice、MyShell-AI等，推动了语音合成技术在多语言、情感表达和实时应用方面的进展。
摘要由CSDN通过智能技术生成
了解本专栏 订阅专栏 解锁全文 超级会员免费看
u013250861
关注
专栏目录
订阅专栏
自动语音识别（ASR）：研究综述【传统语音识别：基于贝叶斯公式，对联合概率P(X|W)·P(W)进行建模（语音识别结果=声学模型×语言模型）】【端到端语音识别：直接对条件概率 P(W|X)进行建模 】
u013250861的博客
03-09 7409
一、传统语音识别基本原理（基于贝叶斯公式） 设一段语音信号经过特征提取得到特征向量序列为 X=[x1, x2, …, xN], 其中 xi 是一帧的特征向量, i=1, 2, …,N, N 为特征向量的数目. 该段语音对应的文本序列设为 W=[w1, w2, …, wM], 其中 wi 为基本组成单元, 如音素、单词、字符, i=1, 2, …, M, M 为文本序列的维度. 从贝叶斯角度, 语音识别的目标就是从所有可能产生特征向量X的文本序列中找到概率最大的W*, 可以用公式表示为式 (1) 优化问题:
语音识别的未来已来：深入了解faster-whisper的突破性进展【高精度语音识别模型，完全免费开源】
u013250861的博客
01-13 2828
faster-whisper的核心优势在于其能够在保持原有模型准确度的同时，大幅提升处理速度，这使得它在处理大规模语音数据时更加高效。例如，在使用Large-v2模型和GPU进行13分钟音频的转录测试中，faster-whisper仅需54秒，而原始Whisper模型需要4分30秒。这一显著的性能提升，意味着在实际应用中，faster-whisper能够更快地处理大量数据，特别是在需要实时或近实时语音识别的场景中。例如，在客户服务中，它可以用于实时语音转文字，提高响应速度和服务质量。
举世无双语音合成系统 VITS 发展历程（2023.03.31 SNAC）
04-30 1644
论文：Lightweight and High-Fidelity End-to-End Text-to-Speech with Multi-Band Generation and Inverse Short-Time Fourier Transform。可以利用自我监督的语音来适应新的说话人而没有标注。论文：Nix-TTS: An Incredibly Lightweight End-to-End Text-to-Speech Model via Non End-to-End Distillation。
推荐开源项目：VITS - 高效语音合成工具
gitblog_00037的博客
05-21 803
推荐开源项目：VITS - 高效语音合成工具 项目地址:https://gitcode.com/gh_mirrors/vi/vits-finetuning 1. 项目介绍 VITS 是一个基于Transformer架构的高质量语音合成系统，它源自jaywalnut310/vits，并经过优化和扩展。这个开源项目提供了在线训练和推理功能，并且特别支持日语数据集进行微调。无论你是开发者还是研究者，VI...
TTS | 保姆级端到端的语音合成VITS论文详解及项目实现(超详细图文代码)
weixin_44649780的博客
09-18 9888
提出一种TTS模型框架VITS，用到normalizing flow和对抗训练方法，提高合成语音自然度，其中论文结果上显示已经和GT相当。是结合了VAE和FLOW的新架构。在俩各数据集中的实验结果论文的主要贡献：首个自然度超过2-stage架构SOTA的完全E2E模型。MOS4.43, 仅低于GT录音0.03。得益于图像领域中把Flow引入VAE提升生成效果的研究，成功把Flow-VAE应用到了完全E2E的TTS任务中。训练非常简便，完全E2E。
VITS 语音合成完全端到端TTS的里程碑
热门推荐
Terry_ZzZzZz的博客
09-26 3万+
Conditional Variational Autoencoder with Adversarial Learning for End-to-End Text-to-Speech（ICML 2021） KAIST 概览：提出一种TTS模型框架VITS，用到normalizing flow和对抗训练方法，提高合成语音自然度，其中论文结果上显示已经和GT相当。 代码：https://github.com/jaywalnut310/vits Demo地址:https://jaywalnut310...
vits语音合成本地部署 vits-simple-api
qq_26557263的博客
04-16 5173
本地一键部署vits 在线demo 目前支持vits W2W2-vits HuBERT-vits Bert-VITS2 GPT-SoVITS
关于VITS和微软语音合成的效果展示（仙王的日常生活第1-2209章）
番茄鸡蛋的专栏
11-22 721
自己尝试了VITS和微软这两个语音合成功能。甚至使用了微软的效果来训练VITS，出乎意料，效果居然不错，没有大佐的口音。但发现一个特别的事情，我用微软生成的云希语音，在VITS中训练了一个新角色，居然消除了大佐口音，不得不说，不得不说，微软的速度非常之快，而且每次能合成约二万五千字，将其它软件甩在身后。不得不说，其大佐口音很严重，哪怕是网传的原神模型，也是满满的大作味道。微软中最好听的，感情最顺滑的，应该是“云希”莫属。
TTS | 轻量级语音合成论文详解及项目实现
weixin_44649780的博客
09-18 2471
介绍了之前的俩阶段语音合成（声学模型和Vocoders）,因为VITS是高质量端到端的模型，所以论文提出的模型是基于VITS轻量级的端到端模型，论文主要几种在模型的解码部分，也就是转换潜在的声学特征到wavaform,用简单的反向短时傅立叶变换 (iSTFT)代替一部分解码器,以高效地完成频域到时域的转换.在推理提升速度时，使用多段处理。在提出的方法时，每一个iSTFTNet,子段信号。推理时，比原本的VITS快了4.1倍，
Python开发的史上训练最简单，音质最好的语音合成系统源码.zip
05-15
Python开发的史上训练最简单，音质最好的语音合成系统源码 Python开发的史上训练最简单，音质最好的语音合成系统源码 Python开发的史上训练最简单，音质最好的语音合成系统源码 ...
VITS2 for Chinese speech - 最新VITS2中文语音合成
01-22
VITS2（Voice Transformer for Image-to-Speech）是一款先进的文本到语音（TTS）系统，专为中文语音合成设计。最新版本的VITS2在前代基础上进行了优化，旨在提供更加自然、流畅的中文发音，使得机器生成的语音与人类...
基于PaddlePaddle的VITS语音合成项目设计源码
最新发布
10-01
该项目是采用PaddlePaddle深度学习框架开发的VITS语音合成系统源码，共包含104个文件，涵盖32个Python脚本、28个JSON配置文件、28个OC文件、4个Markdown文件、2个Git忽略文件、1个许可证文件以及其他类型文件。...
VITS-fast-fine-tuning训练准备的样例数据，可以快速体验该模型的语音合成效果
06-09
VITS（Variational Inference for Text-to-Speech）是一种先进的端到端的变分自编码器模型，专门用于语音合成任务。它结合了Transformer架构的序列建模能力与Gaussian Mixture Variational Autoencoder（GMVAE）的...
Kaldi简介【开源语音识别工具】
u013250861的博客
08-12 2583
Kaldi架构如所示，最上面是外部的工具，包括用于线性代数库BLAS/LAPACK和我们前面介绍过的OpenFst。中间是Kaldi的库，包括HMM和GMM等代码，下面是编译出来的可执行程序，最下面则是一下脚本，用于实现语音识别的不同步骤(比如特征提取，比如训练单因子模型等等)。Kaldi是当前最流行的开源语音识别工具(Toolkit)，它使用WFST来实现解码算法。Kaldi的主要代码是C++编写，在此之上使用bash和 python 脚本做了一些工具。...
Praat：语音标注工具【保存为TextGrid文件】
u013250861的博客
08-03 2520
Praat目前已经成为比较流行的语音处理的软件，它的使用也很方便，目前在网上有很多类似的教程，最有名的当属社科院语言所熊老师的教程，可以在语言所官方网站下载到（http://paslab.phonetics.org.cn/index.php/people/innovation_faculty/xiong_zi_yu/ ，在这个页面有一个熊子瑜，2004，《Praat 语音软件使用手册》），千万不要轻信个别网站的信息去购买这个教程。.........
语音识别-基础(一)：简介【语音转文本】
u013250861的博客
06-29 2301
语音识别，通常称为自动语音识别（AutomaticSpeechRecognition，ASR），主要是将人类语音中的词汇内容转换为计算机可读的输入，一般都是可以理解的文本内容，也有可能是二进制编码或者字符序列。但是，我们一般理解的语音识别其实都是狭义的语音转文字的过程，简称 语音转文本识别（Speech-To-Text,STT）更合适，这样就能与 语音合成（Text-To-Speech,TTS）对应起来。参考资料： 语音识别(一):简介......
语音合成：Tacotron详解【端到端语音合成模型】【与传统语音合成相比，它没有复杂的语音学和声学特征模块，而是仅用＜文本序列，语音声谱＞配对数据集对神经网络进行训练，因此简化了很多流程】
u013250861的博客
06-27 1876
​ ​ Tacotron模型是首个真正意义上的端到端TTS深度神经网络模型。与传统语音合成相比，它没有复杂的语音学和声学特征模块，而是仅用配对数据集对神经网络进行训练，因此简化了很多流程。然后Tacotron使用Griffin-Lim算法对网络预测的幅度谱进行相位估计，再接一个短时傅里叶（Short-Time Fourier Transform，STFT）逆变换，实现端到端语音合成的功能。Tacotron的总体架构如下图：参考资料： Tacotron以及Tacotron2详解 语音合成...
linux 查看显卡(NVIDIA)的算力
u013250861的博客
01-08 1422
2.然后再到官网(https://developer.nvidia.com/cuda-gpus)进行查看。可以修改编译文件中配置，让模型更好地运用显卡资源。比如我会修改darknet的配置文件。1.先通过nvidia-smi命令查看显卡版本，比如我的是3090。NVIDIA官网给出了各型号显卡的算力，
WeNet 更新：支持热词增强
u013250861的博客
01-26 1207
在语音识别的实际应用中，对于常用的词汇识别效果比较好，但是对于一些特有的人名、歌名、地名或者某个领域的专有词汇，例如人名、歌名、地名以及语音识别专业词汇，可能存在识别准确率不高的情况。对于这些专有词汇，通过在 WeNet 中使用热词增强方案，添加热词可以显著提升识别的准确率。近期，WeNet 的更新支持了两种解码器上热词增强，包括 CTC Prefix Beam Search 和 WFST Beam Search。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值