语音合成论文优选：lpcnet优化Lightweight LPCNet-based Neural Vocoder with Tensor Decomposition

最新推荐文章于 2021-01-26 14:57:23 发布
最新推荐文章于 2021-01-26 14:57:23 发布
阅读量344 收藏
点赞数
分类专栏： 语音合成论文 文章标签： 语音识别 人工智能 深度学习 机器学习 tts
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/liyongqiang2420/article/details/112758719
版权
本文介绍了日本NTT公司如何通过张量分解技术优化轻量级LPCNet神经声码器，实现1.26倍的加速。研究针对LPCNet解码器中的GRU和双全连接层进行优化，通过高阶奇异值分解（HOSVD）和张量列车分解（TTGrub），减少了参数量并提高了实时性能。实验结果显示，这种方法在保持可接受的音质的同时，有效提升了LPCNet的效率。
摘要由CSDN通过智能技术生成

声明：语音合成论文优选系列主要分享论文，分享论文不做直接翻译，所写的内容主要是我对论文内容的概括和个人看法。如有转载，请标注来源。

欢迎关注微信公众号：低调奋进

Lightweight LPCNet-based Neural Vocoder with Tensor Decomposition

本文章是日本NTT公司在interspeech2020发表的文章，主要工作使用张量分解方法来优化声码器lpcnet，整体加速1.26x，具体的文章链接

Mon-1-5-4 Lightweight LPCNet-based Neural Vocoder with Tensor Decomposition - Speech Synthesis: Neural Waveform Generation I - INTERSPEECH 2020

1 研究背景

现在语音合成领域的主流声码器为wavenet,wavernn,lpcnet,melgan,waveglow等等，其中lpcnet由于低复杂度受到工业界和学术界的追捧​。其中lpcnet的结构图为图1所示，做语音研究对其非常熟悉，在此不再浪费篇幅进行介绍，有兴趣的读者可以参考我前边总结的lpcnet​。接下来说一下本文的动机，整个系

最低0.47元/天 解锁文章
我叫永强
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
语音合成论文优选：声码器对比基准VocBench: A Neural Vocoder Benchmark for Speech Synthesis
低调奋进
12-07 2252
​声明：平时看些文章做些笔记分享出来，文章中难免存在错误的地方，还望大家海涵。搜集一些资料，方便查阅学习：http://yqli.tech/page/speech.html。语音合成领域论文列表请访问http://yqli.tech/page/tts_paper.html，语音识别领域论文统计请访问http://yqli.tech/page/asr_paper.html。如何查找语音资料请参考文章https://mp.weixin.qq.com/s/eJcpsfs3OuhrccJ7_BvKOg）。如有转载，
使用LPCNet的高质量，轻量级和自适应文本语音转换（TTS）
Cynomys的博客
11-02 1692
原文： https://www.ibm.com/blogs/research/2019/09/tts-using-lpcnet/ 作者： Zvi Kons, Slava Shechtman, and Alex Sorin 翻译：@Chen Quan 深度学习的最新进展通过更有效地学习说话者的语音和说话方式以及更自然地生成高质量的输出语音，极大地改善了语音合成（TTS）系统的开发。 然而，为了产生这...
LPCNET 速度优化学习
哈哈哈博客
01-26 532
LPCNET LPCNET 包含两个部分frame rate network + sample rate network，其中sample rate network 中会用到线性估计，加入线性估计降低神经网络的复杂度（原始的WaveRNN神经网络需要给整个采样点值建模，而LPCNET的神经网络只需要估计excitation，excitation是采样点的值和线性估计之间的差值）。最后的估计的采样点值为LPC的线性估计结果+神经网络估计的excitation。 LPCNET 速度优化 由于sample ra
语音合成（TTS)论文优选：IMPROVING LPCNET-BASED TEXT-TO-SPEECH WITH LINEAR PREDICTION-STRUCTURED MIXTURE DENSIT
低调奋进
11-30 478
声明：语音合成（TTS)论文优选系列主要分享论文，分享论文不做直接翻译，所写的内容主要是我对论文内容的概括和个人看法。如有转载，请标注来源。 欢迎关注微信公众号：低调奋进 IMPROVING LPCNET-BASED TEXT-TO-SPEECH WITH LINEAR PREDICTION-STRUCTURED MIXTURE DENSITY NETWORK 本文章是2020年1月韩国延世大学等发表的文章，主要工作是对LPCNet进行优化，使其保持原来的复杂度前提下，提高合成的语音质量，具体的文章链
语音合成（TTS)论文优选：Fast and lightweight on-device TTS with Tacotron2 and LPCNet
低调奋进
12-09 513
声明：语音合成（TTS)论文优选系列主要分享论文，分享论文不做直接翻译，所写的内容主要是我对论文内容的概括和个人看法。如有转载，请标注来源。 欢迎关注微信公众号：低调奋进 Fast and lightweight on-device TTS with Tacotron2 and LPCNet 本文章是俄罗斯华为技术有限公司在interspeech2020上的工作，主要做轻量级的神经网络语音合成优化（tacotron+lpcnet)，使该TTS系统能够在低中端的移动设备上使用，文章的具体链接为https
qier-player:A lightweight and sophisticated React-based H5 video player 简单易用的h5播放器
04-28
版本2.x即将推出...以下是版本1.x README.md 轻巧而精致的基于React的H5视频播放器| 英语介绍Qier-player是React的网络视频播放器组件，它具有简单的界面和流畅的操作，支持其他视频播放器的大多数功能。...
polakdot-api_v4-lightweight-example:polakdotapi_v4-lightweight-example
03-11
`polakdot-api_v4-lightweight-example` 是一个使用 TypeScript 编写的轻量级示例，它展示了如何与 Polkadot API 进行交互。这个项目可能是为了帮助开发者了解如何在他们的应用中集成 Polkadot 的功能，如查询链上...
LeGO-LOAM_ Lightweight and Ground-Optimized Lidar Odometry and Mapping
03-01
这篇文章提出了一个名为LeGO-LOAM的轻量级6自由度的激光SLAM方法. LeGO-LOAM主要分为点云分隔, 特征提取, 里程计和建图四个方面, 在特征提取方面它借鉴了LOAM算法, 并且和其他的激光SLAM方法相比, LeGO-LOAM的亮点是...
Training-Tricks-for-Binarized-Neural-Networks:二值神经网络训练技巧的集合
05-16
进一步提供了一个开源深度学习库，用于训练具有极低精度权重和激活的神经网络，例如Binarized Neural Networks（BNN）。 1.修改后的ResNet块结构 class BinActiveF ( torch . autograd . Function ): def forward...
LiREP: Lightweight Incremental Reprogramming of Sensor Nodes Based On In-situ Modification
02-07
针对上述问题，本研究提出了LiREP（Lightweight Incremental Reprogramming of Sensor Nodes Based On In-situ Modification），这是一种基于原位修改的轻量级传感器节点增量重编程方法。LiREP的核心思想是在目标...
LPCNet:高效的神经语音合成
05-24
LPC网络 基于WaveRNN的LPCNet算法的低复杂度实现，如下所述： J.-M. Valin， ，提交给 2019 。 J.-M. 华菱，J. Skoglund， ，PROC。 国际声学，语音和信号处理国际会议（ICASSP） ，arXiv：1810.11846,2019。 介绍 通过将线性预测技术应用于WaveRNN来研究低CPU复杂度的语音合成和压缩算法的正在进行的软件。 可以在具有SIMD支持（当前支持AVX，AVX2 / FMA，NEON）的常规CPU（大约3 GFLOP）上合成高质量的语音。 该代码还支持1.6 kb / s的极低比特率压缩。 BSD许可软件是用C和Python / Keras编写的。 为了进行培训，建议使用GTX 1080 Ti或更高版本。 该软件是基于LPCNet / WaveRNN的语音合成和编码的开源起点。 使用现有软件 您可以使用以下代码
捆绑式LPCNet
02-26
LPC网络 基于WaveRNN的LPCNet算法的低复杂度实现，如下所述： J.-M. Valin， ，提交给 2019 。 J.-M. 华菱，J. Skoglund， ，PROC。 国际声学，语音和信号处理国际会议（ICASSP） ，arXiv：1810.11846,2019。 介绍 通过将线性预测技术应用于WaveRNN来研究低CPU复杂度的语音合成和压缩算法的正在进行的软件。 可以在具有SIMD支持（当前支持AVX，AVX2 / FMA，NEON）的常规CPU（大约3 GFLOP）上合成高质量的语音。 该代码还支持1.6 kb / s的极低比特率压缩。 BSD许可软件是用C和Python / Keras编写的。 为了进行培训，建议使用GTX 1080 Ti或更高版本。 该软件是基于LPCNet / WaveRNN的语音合成和编码的开源起点。 使用现有软件 您可以使用以下代码
LPC（语音信号的线性预测编码与恢复）
05-12
本程序基于线性预测编码（LPC）来实现对输入语音信号的线性编码（寻找预测器参数）以及通过预测器参数完成对信号的重组回复
语音合成（TTS)论文优选：gaussian lpcnet for multisample speech synthesis
低调奋进
11-29 489
声明：语音合成（TTS)论文优选系列主要分享论文，分享论文不做直接翻译，所写的内容主要是我对论文内容的概括和个人看法。如有转载，请标注来源。 欢迎关注微信公众号：低调奋进 GAUSSIAN LPCNET FOR MULTISAMPLE SPEECH SYNTHESIS 该文章出自莫斯科华为，主要工作是对LPCNET进行性能优化（感觉这种方法还是不错的，主要对decoder部分进行优化，bunching lpcnet的sample bunching就是借鉴该篇文章），文章链接 http://yqli.
语音合成（TTS)论文优选：FeatherWave: An efficient high-fidelity neural vocoder with multi-band linear predicti
低调奋进
11-27 443
声明：语音合成（TTS)论文优选系列主要分享论文，分享论文不做直接翻译，所写的内容主要是我对论文内容的概括和个人看法。如有转载，请标注来源。 欢迎关注微信公众号：低调奋进 FeatherWave: An efficient high-fidelity neural vocoder with multi-band linear prediction 本篇文章出自腾，结合multiband-waveRNN和LPCENT框架提出了轻量级声码器Featherwave，文章更新时间2020.05.12，具体文章
语音合成（TTS)论文优选：Bunched LPCNet:Vocoder for Low-cost Neural Text-To-Speech Systems
低调奋进
11-27 270
声明：语音合成（TTS)论文优选系列主要分享论文，分享论文不做直接翻译，所写的内容主要是我对论文内容的概括和个人看法。如有转载，请标注来源。 欢迎关注微信公众号：低调奋进 Bunched LPCNet : Vocoder for Low-cost Neural Text-To-Speech Systems 本篇文章主要工作是优化声码器LPCNET（把声学特征转换语音波形），出自三星人工智能研究中心，更新时间2020.8.11。具体的文章链接：http://yqli.tech/pdf/tts_pa.
语音合成（TTS)论文优选:神经网络声码器对比A Comparison of Recent Neural Vocoders for Speech Signal Reconstruction
低调奋进
11-28 816
声明：语音合成（TTS)论文优选系列主要分享论文，分享论文不做直接翻译，所写的内容主要是我对论文内容的概括和个人看法。如有转载，请标注来源。 欢迎关注微信公众号：低调奋进 A Comparison of Recent Neural Vocoders for Speech Signal Reconstruction 本文章是德国埃尔兰根Fraunhofer IIS2019发表的文章，文章主要对近几年比较流行的声码器进行实验对比，为相关从业者和研究者提供参考（个人感觉这种分享经验的文章很有意义，为其它研究
LPCNET学习
guoshaotong的博客
01-13 708
可以参考： from 知乎： https://zhuanlan.zhihu.com/p/54952637 reference The μ-law CODEC PCM音频压缩A-Law算法，uLaw a-law原理及算法实现 几种常见音频编码格式的总结 几种基本的pcm编码总结 ...
LPCNET: IMPROVING NEURAL SPEECH SYNTHESIS THROUGH LINEAR PREDICTION
林宋的搬砖流水账
09-05 1395
用了很久的声码器，但是细节一直似懂非懂，详细看一下 abstract LPCNet，是wavenet的变种，把线性预测和循环神经网络结合在一起，大大提升了合成的效率。证明：（1）同样网络尺寸时，LPCNet比Wavenet的合成质量好；（2）LPCNet可以在3 GFLOPS的算力下实现很好的合成质量。 introduction Wavenet网络声码器的弊端：算力消耗比较大 传统声码器：使用线...
ARM7嵌入式网关：实现实时监控的CAN-Ethernet桥接技术
这篇论文提供了一个实用的解决方案，展示了如何利用ARM平台和嵌入式技术来优化工业生产环境中的实时通信，对于嵌入式系统设计者、自动化工程师以及相关领域的研究人员来说，具有很高的参考价值。该研究成果对于推进...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

我叫永强

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值