大模型之三十二-语音合成TTS(coqui) 之二 fine-tune

已于 2024-10-15 21:07:02 修改
阅读量604 收藏 7
点赞数 3
分类专栏： 神经网络&人工智能 文章标签： 人工智能 语音合成
于 2024-10-15 21:02:24 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/shichaog/article/details/142964030
版权

在 大模型之三十-语音合成TTS(coqui)[shichaog @CSDN]中提到了xttsv2的fine-tune。

数据情况：

我是从bilibili up主小Lin说提取了一些视频，然后进行了重新的fine-tune。

训练结果

如下图所示，上面波形幅度较大的是xttsv2原始模型的结果，第二个是fine-tune了290000 step之后的结果，因为CSDN没法直接放wav文件，上传到CSDN上了，但是不知道怎么变成了VIP资源，如果想要的，可以留言，超过10+人我做个网盘链接供大家下载。
在这里插入图片描述

后续计划

  • 后续会训练vits模型以和xttsv2的效果做对比
  • 改进中文编码，只支持中英文以提高效率&性能
  • 增加文本上下文，以合成合适情感、情境的语音
shichaog
关注
专栏目录
语音合成（TTS）开源调研与测评
南七小僧的学海无涯
03-30 409
模型时间语种输入MOSRTF训练语料LicenseTacotron22018中英西法音素/字符可用，后续模型以此为baselineCPU 0.2（优化后0.152）25+h2020中英西法音素/字符从架构上看逊色于Tacotron2，但论文里说比Tacotron2好（存疑）CPU 0.0625+hMITVITS22023中英西法音素优于Tacotron2CPU 0.1825+hMITBert-VITS22023中英日音素。
TTS声音合成：paddlespeech、sherpa-onnx、coqui-ai
weixin_42357472的博客
11-27 1711
中文下载链接：https://github.com/coqui-ai/TTS/releases/download/v0.6.1_models/tts_models–zh-CN–baker–tacotron2-DDC-GST.zip。参考：https://github.com/k2-fsa/sherpa-onnx/blob/master/python-api-examples/offline-tts.py。参考：https://modelscope.cn/models?coqui-ai/TTS 语音合成。
大模型之三十二-语音合成TTS(coqui)
10-15
大模型之三十二-语音合成TTS(coqui)
大模型之三十-语音合成TTS(coqui)
shichaog的专栏
09-09 1745
Coqui TTS是一个开源的文字到语音（Text-to-Speech, TTS）系统，旨在使语音合成技术对研究人员、开发者和创造者更加可接近。它基于先前的项目。音色克隆，可以提供仅仅3 秒的音频就实现声音克隆；跨语言克隆，比如英文到中文，中文到英文等，共计16中语言24kHz采样率，对于speech够了，但是对于Music一般要支持立体声、44.1kHz流式推理延迟小于200ms支持模型fine-tune。
TTS | 保姆级端到端的语音合成VITS论文详解及项目实现(超详细图文代码)
weixin_44649780的博客
09-18 9893
提出一种TTS模型框架VITS，用到normalizing flow和对抗训练方法，提高合成语音自然度，其中论文结果上显示已经和GT相当。是结合了VAE和FLOW的新架构。在俩各数据集中的实验结果论文的主要贡献：首个自然度超过2-stage架构SOTA的完全E2E模型。MOS4.43, 仅低于GT录音0.03。得益于图像领域中把Flow引入VAE提升生成效果的研究，成功把Flow-VAE应用到了完全E2E的TTS任务中。训练非常简便，完全E2E。
推荐开源项目：XTTS-Finetune-WebUI——优化版的文本转语音调优界面
gitblog_00015的博客
06-21 424
推荐开源项目：XTTS-Finetune-WebUI——优化版的文本转语音调优界面 去发现同类优质开源项目:https://gitcode.com/ 1、项目介绍 XTTS-Finetune-WebUI 是一个基于 coqui-ai/TTS 的微调接口优化版本，专为XTTS模型的进一步训练和优化设计。该项目提供了一个直观易用的web界面，让你可以轻松地处理数据，微调XTTS编码器，并进行预测。如果...
LLMs：awesome-LLM-resourses项目(比较好的LLM资料总结—数据/微调/推理/评估/体验/RAG/Agent/搜索/书籍/课程/教程/论文和技巧)的简介、分类、使用方法之详细攻略
近期请国内外头部出版社可尽快私信博主！——心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，谦虚，自律，反思，成长，还算是比较正能量的博主，公益免费传播……内心特别想在AI界做出一些可以推进历史进程影响力的东西(兴趣使然，有点小情怀，也有点使命感呀)…
09-12 1348
​ LLMs：awesome-LLM-resourses项目(比较好的LLM资料总结—数据/微调/推理/评估/体验/RAG/Agent/搜索/书籍/课程/教程/论文和技巧)的简介、分类、使用方法之详细攻略 目录 awesome-LLM-resourses项目的简介 awesome-LLM-resourses项目的分类 awesome-LLM-resourses项目的使用方法 awesome-LLM-resourses项目的简介 2024年9月，该GitHub项目名为
大模型微调方法实现
pursuit1000wyeu的博客
09-13 272
本博文以Qwen模型为例，分别使用魔搭社区和LlamaFactory 两种方式实现微调。
探索开源新声：深入Fish Speech，革新文本转语音技术的先锋!
寻道码路，探索编程之路的无限可能。
07-11 3449
Fish Speech是由Fish Audio团队开发的开源项目，它以其亿级参数的深度学习模型，支持中文、日语、英语等多种语言的文本转语音功能。这个项目不仅技术先进，而且具有高度的可定制性和易用性，为语音合成领域带来了新的可能性。
RIP ELEVENLABS！免费本地创建最佳 TTS AI 语音！
Aitrepreneur的博客
08-16 271
创建属于你的AI语音：本地文本转语音终极指南 这篇文章介绍了如何使用本地工具创建自定义的AI语音，摆脱高昂的付费语音服务。作者将带你一步步实现，从简单的10秒语音克隆到高级定制，满足不同需求。 安装软件： 提供两种安装方式：一键安装器 (仅限Patreon会员) 和手动安装。 一键安装器只需下载两个文件并运行，自动安装并配置FFMPag和文本转语音软件。 手动安装需要提前安装Python、git...
AI相关的实用工具分享(附带最新评分排行)
yxn4065的博客
03-10 1970
这篇blog深入探讨了AI实用工具在科研与生活中的应用。从闭源大语言模型到开源大语言模型，再到GPT/LLMs应用，文章梳理了各类AI工具的使用方式。同时，文章还详细介绍了这些工具在文献检索、数据分析、写作润色等多个方面的应用，为读者提供了一份全面的AI工具指南。无论是科研工作者还是普通用户，都能从中找到适合自己的工具，提升工作效率与生活品质。本文旨在让读者更深入地了解AI技术，共同探索AI的无限可能。
coqui-ai TTS中文输出效果：tts -text "愿您心想事成,幸福安康,前程似锦,家庭美满,事业有成,快乐常在
08-23
coqui-ai TTS中文输出效果：tts --text "愿您心想事成,幸福安康,前程似锦,家庭美满,事业有成,快乐常在。" --model_name "tts_models/zh-CN/baker/tacotron2-DDC-GST" --out_path speech_zh.wav ...
推荐两款人工智能AI文字转语音(文字合成语音)TTS三方开发库.zip
01-11
推荐两款文字转语音(文字合成语音)TTS三方开发库.zip
AI 在软件开发
shangzhiqi的博客
11-18 1227
随着 AI 技术的不断发展，AI大模型正在重塑软件开发流程，从代码自动生成到智能测试，未来，AI 大模型将会对软件开发者、企业，以及整个产业链都产生深远的影响。欢迎与我们一起，从 AI 大模型的定义、应用场景、优势以及挑战等方面，探讨 AI 是如何重塑软件开发的各个环节以及带来的新的流程和模式变化，并展望未来的发展趋势~
VisionPro 机器视觉案例 之 药剂液面高度检测
机器视觉李小白的博客
11-18 915
图像处理工具CogIPOneImage 卡尺工具CogCaliperTool
yolov5训练pt模型转换为rknn模型_部署在RK3588上--整个流程
最新发布
m0_60657960的博客
11-22 294
3.将onnx模型使用rknn-toolkit2中onnx文件夹的test.py转换为rknn模型；预训练模型yolov5s.pt，需要我们自行下载，在releasesl链接中找到。2.将pt模型使用yolov5工程中的export.py转换为onnx模型；4.在板子上使用rknpu2工具调用rknn模型，实现NPU推理加速。1.使用正确版本（v5.0）的yolov5进行训练得到pt模型；1、一块RK3588的开发板（上面是Ubuntu环境）2、PC电脑（上面是Ubuntu环境）
机器学习系列----关联分析
DK22151的博客
11-18 947
关联分析主要用于挖掘数据集中的频繁项集（Frequent Itemsets）和关联规则（Association Rules）。关联规则通常采用“如果-那么”的形式，即：如果条件 A 成立，则条件 B 成立。最常见的应用场景是市场篮子分析，在这个场景中，A 和 B 代表顾客购买的商品。关联规则通常包含三个重要的度量：支持度（Support）：规则中项集的出现频率，表示在整个数据集中，A 和 B 同时出现的概率。
C# OpenCV 通过高度图去筛选轮廓
m0_51559565的博客
11-18 506
【代码】C# OpenCV 通过高度图去筛选轮廓。
离线安装https://github.com/coqui-ai/TTS
05-25
以下是在Linux系统上离线安装Coqui TTS的步骤： 1.下载Coqui TTS的代码： ``` git clone https://github.com/coqui-ai/TTS.git ``` 2.安装依赖项： ``` sudo apt-get install python3-pip libsndfile1 pip3 install -r requirements.txt ``` 3.下载所需的模型，例如英文的Tacotron2模型： ``` wget https://github.com/coqui-ai/TTS/releases/download/tts_models/tts_models_tacotron2_anon.tar.bz2 tar xvf tts_models_tacotron2_anon.tar.bz2 ``` 4.设置环境变量： ``` export PYTHONPATH=$PYTHONPATH:/path/to/TTS ``` 5.启动TTS服务器： ``` python3 server.py --model_path /path/to/tacotron2 --config_path /path/to/tacotron2/config.json --port 8000 ``` 其中`/path/to/tacotron2`为第3步中下载的Tacotron2模型的路径，`/path/to/tacotron2/config.json`为Tacotron2模型的配置文件的路径。 6.连接到TTS服务器并进行语音合成： ``` import requests import json r = requests.post('http://localhost:8000/api/tts', data=json.dumps({ "text": "Hello, world!", "model_name": "tacotron2" })) with open('output.wav', 'wb') as f: f.write(r.content) ``` 这将生成一个名为`output.wav`的WAV文件，其中包含语音合成的结果。 希望这些步骤对你有所帮助！
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

shichaog

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值