语音合成论文优选：AutoML优化TTSLightSpeech: Lightweight and Fast Text to Speech with Neural Architecture Search

最新推荐文章于 2024-07-07 08:32:14 发布
最新推荐文章于 2024-07-07 08:32:14 发布
阅读量370 收藏
点赞数
分类专栏： 语音合成论文 文章标签： 语音识别 人工智能 深度学习 机器学习 自然语言处理
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/liyongqiang2420/article/details/113924130
版权
这篇博客介绍了中国科学技术大学和微软合作的研究，利用AutoML中的Neural Architecture Search (NAS)优化轻量级且快速的Text-to-Speech模型LightSpeech。研究发现，通过NAS能在保持高音频质量的同时，将模型压缩15倍，推理速度提升6.5倍，甚至MOS评分有所提高。
摘要由CSDN通过智能技术生成

声明：语音合成论文优选系列主要分享论文，分享论文不做直接翻译，所写的内容主要是我对论文内容的概括和个人看法。如有转载，请标注来源。

欢迎关注微信公众号：低调奋进

LightSpeech: Lightweight and Fast Text to Speech with Neural Architecture Search

本文章是中国科学技术大学和微软在2021.02.08更新的文章，本文章是使用AutoML中的NAS来搜索最佳的网络结构，这是我看到的第一篇使用NAS来优化语音合成模型，具体的文章链接https://arxiv.org/pdf/2102.04040.pdf

1 研究背景

虽然现在的语音合成的合成音频质量很高，但性能的问题是限制模型落地的关键，尤其是自回归模型。为了提高速度，很多研究提出非自回归模型，例如fastspeech2系统。一个较好的模型需要研究人员通过经验来设置超参，并通过大量实验来选择较好的版本。模型的超参包括控制参数更新的超参和控制网络架构的超参，而控制网络的超参往往凭借研究人员的经验来设置，根本无法获得最优的模型。AutoML的neural architecture search根据设定的搜索空间来寻找最优的网络结构，本文就是我看到第一篇使用该方法来寻找较优的模型。本文主要在fastspeech上进行优化，实验结果显示模型被压缩15倍，推理速度提高6.5倍，而且MOS反而提高一些。（当然NAS的缺点大家都知道，需要“钞能力”，google以前的方法动不动几千块GPU，动不动一个月的训练时间࿰

最低0.47元/天 解锁文章
我叫永强
关注
专栏目录
举世无双语音合成系统 VITS 发展历程（2024.3 PAVITS）
u013250861的博客
04-28 309
简介：一个快速和强大的zero-shot语音合成器的文本到语音（TTS）和语音转换（VC）；对于文本到语音，采用了文本到向量框架，生成文本表示和韵律提示，文本表示由一个自监督的语音表示和F0表示组成。论文：Lightweight and High-Fidelity End-to-End Text-to-Speech with Multi-Band Generation and Inverse Short-Time Fourier Transform。可以利用自我监督的语音来适应新的说话人而没有标注。
Howt o Build an Image Processing Application Using Java and OpenCV
程序员光剑
07-28 1113
作者：禅与计算机程序设计艺术Image processing is one of the most popular areas in computer science, and it has applications in a wide range of fields such as industrial engineering, medical image analysis, security surveillance, etc. In this article, we will learn how to
SLT2021: LIGHTSPEECH: LIGHTWEIGHT NON-AUTOREGRESSIVE MULTI-SPEAKER TEXT-TO-SPEECH
ruclion的专栏
01-21 523
0. 题目 LIGHTSPEECH: LIGHTWEIGHT NON-AUTOREGRESSIVE MULTI-SPEAKER TEXT-TO-SPEECH 轻量思必驰：轻量，非自回归的多说话者文本到语音 1. 摘要 随着深度学习的发展，端到端的神经文本语音转换系统在高质量语音合成方面取得了显着进步。 但是，这些系统大多数都是基于注意力的自回归模型，导致合成速度较慢且模型参数较大。 在本文中，我们提出了一种名为LightSpeech的新型轻量级非自回归多说话人语音合成系统，该系统利用轻量级前馈神
python语音合成需要的库_LightSpeech - 轻快，快速，强大的语音合成
weixin_39616503的博客
12-11 282
LightSpeechA Light, Fast and Robust Speech Synthesis.ArchitectureI use an embedding layer whose dimension size is 256 and a one layer GRU whose input dimension is 256 and output dimension is 512 as en...
FastSpeech2中文语音合成就步解析：TTS数据训练实战篇
最新发布
fengbeely的博客
07-07 803
Step 9 : 当训练步数到达预先设定的synth_step时，调动utils文件夹下tool.py里的log function 和 synth_one_sample function（具体用来干什么没看懂）Step 8 : 当训练步数到达预先设定的log_step时，调动utils文件夹下tool.py里的log function，记录loss和step。Step 7 :开始训练，前向传播，计算损失，反向传播，梯度剪枝，更新模型权重参数。调用utils文件夹下的model.py加载模型，声码器，
LightSpeech:轻声语音
05-22
轻声语音 非官方PyTorch实现。 此存储库以Espnet的FastSpeech 2实现为基础。 此回购协议仅实现LightSpeech模型的最终版本，而没有实现本文提到的“神经体系结构搜索”。 But I am able to compress only 3x (from 27 M to 7.99 M trainable parameters) not 15x 。 要求 ： 用Python 3.6.2编写的所有代码。 安装Pytorch 在安装pytorch之前，请通过运行以下命令检查您的Cuda版本： nvcc --version pip install torch torchvision 在此仓库中，我将Pytorch 1.6.0用于torch.bucketize功能，该功能在以前的PyTorch版本中不存在。 安装其他要求： pip install -r req
light-tts:轻量级文本到语音的Node.js
05-15
轻型 用于Node.js的轻量级文本转语音模块 安装 $ npm install light-tts 用法 您可以将音频另存为mp3文件，也可以直接说出声音： var LightTTS = require ( 'light-tts' ) ; // Play the received speech LightTTS . say ( text [ , callback ] ) ; // Save the received speech into an mp3 file LightTTS . save ( text , filename [ , callback ] ) ; // .mp3 extension added automatically 语音播放完毕或文件完全写入后，将运行回调函数。 选项 以下是可能的选项的简短列表： api_name选择要使用的API： google或tts
语音合成论文优选：lpcnet优化Lightweight LPCNet-based Neural Vocoder with Tensor Decomposition
低调奋进
01-19 352
声明：语音合成论文优选系列主要分享论文，分享论文不做直接翻译，所写的内容主要是我对论文内容的概括和个人看法。如有转载，请标注来源。 欢迎关注微信公众号：低调奋进 Lightweight LPCNet-based Neural Vocoder with TensorDecomposition 本文章是日本NTT公司在interspeech2020发表的文章，主要工作使用张量分解方法来优化声码器lpcnet，整体加速1.26x，具体的文章链接 http://www.interspeech2020..
A Convolutional Recurrent Neural Network for Real-Time Speech Enhancement
weixin_44223902的博客
11-14 1661
A Convolutional Recurrent Neural Network for Real-Time Speech Enhancement 文章：A Convolutional Recurrent Neural Network for Real-Time Speech Enhancement 作者：Ke Tan, DeLiang Wang github: ABSTRACT 现实生活中许多语音增强的应用都需要实时处理，没有或者低延迟，例如助听器和人工耳蜗。本文提出了CRN解决单通道语音增强。我们把CE
【CIKM 2021】推荐系统相关论文分类
发现问题，并解决问题，批判性思维
01-12 1914
第30届国际信息与知识管理大会（The 30th ACM International Conference on Information and Knowledge Management, CIKM 2021）计划于2021年11月1日-11月5日在线召开。ACM CIKM是CCF推荐的B类国际学术会议，是信息检索和数据挖掘领域最重要的学术会议之一。这次会议共收到1251篇长文（Full paper）、290篇应用文（Applied paper）和626篇短文（Short paper）投稿，有271篇长文、
LightAutoML：LAMA-自动模型创建框架
02-03
LightAutoML（LAMA）-自动模型创建框架 Sberbank AI Lab AutoML小组的LightAutoML（LAMA）项目是用于自动分类和回归模型创建的框架。 当前可解决的任务： 二元分类 多类别分类 回归 当前，我们使用数据集，其中每一行都是具有特定功能和target的对象。 多表数据集和序列现在正在构建中：） 注意：为了自动创建可解释的模型，我们还使用我们小组制作的库。 作者：Ryzhkov Alexander，Vakhrushev Anton，Simakov Dmitry，Bunakov Vasilii，Damdinov Rinchin，Shvets Pav
FastSpeech2:FastSpeech 2的PyTorch实现
05-22
Fastspeech 2 FastSpeech 非官方PyTorch实现。 此仓库以的FastSpeech实现为基础。 在此实现中，我尝试复制确切的纸张详细信息，但仍需要进行一些修改才能获得更好的模型，此存储库可提供任何建议和改进。 此存储库使用Nvidia的tacotron 2预处理进行音频预处理，并使用作为声码器。 演示： 要求 ： 用Python 3.6.2编写的所有代码。 安装Pytorch 在安装pytorch之前，请通过运行以下命令检查您的Cuda版本： nvcc --version pip install torch torchvision 在此仓库中，我将Pytorch 1.6.0用于torch.bucketize功能，该功能在以前的PyTorch版本中不存在。 安装其他要求： pip install -r requirements.txt 要使用Tens
Python库 | LightAutoML-0.2.14-py3-none-any.whl
02-17
python库，解压后可用。 资源全名：LightAutoML-0.2.14-py3-none-any.whl
语音合成（TTS)论文优选：Fast and lightweight on-device TTS with Tacotron2 and LPCNet
低调奋进
12-09 516
声明：语音合成（TTS)论文优选系列主要分享论文，分享论文不做直接翻译，所写的内容主要是我对论文内容的概括和个人看法。如有转载，请标注来源。 欢迎关注微信公众号：低调奋进 Fast and lightweight on-device TTS with Tacotron2 and LPCNet 本文章是俄罗斯华为技术有限公司在interspeech2020上的工作，主要做轻量级的神经网络语音合成优化（tacotron+lpcnet)，使该TTS系统能够在低中端的移动设备上使用，文章的具体链接为https
lightautoml，一个不可思议的 Python 库！
涛哥聊Python
06-01 649
Python LightAutoML库是一款强大的全自动机器学习框架，具有丰富的特性和功能。它可以帮助用户简化机器学习流程，提高模型的效率和准确性。通过自动化特征工程、模型集成、超参数优化等功能，Python LightAutoML库适用于多种实际应用场景，如金融、医疗健康、零售和工业制造等领域。其支持模型解释性和模型部署，使得用户能够更好地理解模型结果并将模型应用于生产环境中。总之，Python LightAutoML库是一款值得信赖的机器学习工具，为用户提供了简单易用、高效准确的解决方案。
探索高效自动化机器学习：LightAutoML
gitblog_00073的博客
04-25 371
探索高效自动化机器学习：LightAutoML 项目地址:https://gitcode.com/sb-ai-lab/LightAutoML LightAutoML 是一个由 SB AI Lab 开发的强大开源框架，旨在简化和加速机器学习模型的构建过程。它以轻量级、高性能和易用性为设计核心，使数据科学家和工程师能够更加专注于问题解决，而不是繁琐的调参工作。 项目简介 在现代数据分析中，自动机器学...
FastSpeech 2整体结构、模块配置及优化
声纹感知 洞察芯声
05-06 1988
FastSpeech 的改进版 FastSpeech 2，抛弃了 Teacher-Student 知识蒸馏框架降低训练复杂度，直接用真实的语音数据作为训练目标避免信息损失，同时引入了更精确的时长信息和语音中的其它可变信息（包括音高（Pitch）和音量（Energy）等）来提高合成的语音质量。
LightAutoML——大型金融服务生态系统的 AutoML 解决方案
知来者逆的博客
06-13 1635
在本文中，我们讨论了 LightAutoML，这是一个主要为一家在金融领域运营的欧洲公司及其生态系统开发的 AutoML 系统。LightAutoML 框架部署在各种应用程序中，结果表明，即使在构建高质量的机器学习模型时，其性能也堪比数据科学家的水平。LightAutoML 框架试图做出以下贡献。首先，LightAutoML 框架主要为一家大型欧洲金融和银行机构的生态系统开发。得益于其框架和架构，LightAutoML 框架能够在多个开放基准测试以及生态系统应用程序中超越最先进的 AutoML 框架。
a multiscale lightweight and efficient model based on yolov7: applied to cit
09-16
我们基于YOLOv7进行了一系列改进和优化，使得模型更加适用于城市智能交通系统。 其次，我们采用了多尺度处理策略。城市交通中存在着不同大小、不同尺度的目标，如车辆、行人、交通标识等。为了更好地检测这些目标，...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

我叫永强

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值