实时音频编解码之十九 基于AI的语音编码（LPCNet）

已于 2024-09-09 20:03:03 修改
阅读量1.3k 收藏 1
点赞数 3
分类专栏： Opus编码器原理和工程实现详解 文章标签： 音频编码器 人工智能 深度学习 LPCNet
于 2022-05-15 12:26:10 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/shichaog/article/details/124780180
版权
本文介绍了基于AI的语音编码器LPCNet，它结合线性预测和深度学习，实现低复杂度的语音合成与压缩。LPCNet通过预加重、量化、稀疏矩阵和softmax分布等技术，优化了音频质量和计算效率，特别适合实时应用。此外，文章还探讨了训练噪声注入、模型构建和训练策略，以及LPCNet在音频编码领域的优势和潜在改进方向。
摘要由CSDN通过智能技术生成

本文谢绝任何形式转载，谢谢。
自2012年Opus编码器推出以来经过近10年，2020年的新冠大流行使得实时音视频会议和虚拟增强会议需求进一步增加，Opus是这类场景中非常优秀的音频编码器，但AI技术可以进一步提升音视频效果。

Satin

Satin是微软于2021年2月官宣的一款基于AI的语音编码器，其目标是替代Silk编码器，Silk是Skype使用的语音编码器，Opus中LPC部分也是基于Silk编码器，Satin的特性如下：

从6kbps开始可以支持超带宽语音

从17kbps开始可以支持全带宽语音

更高的比特率可以带来更好的编码质量

即使在高丢包率的情况下音频质量依然很高

更好的冗余算法，在突发丢失情况下提供更好的保护
请添加图片描述
Satin已经在微软Teams和Skype的双向通话中使用，显然未来是会扩展到多人通话中。Satin的目标是替换掉Silk/Opus编码器。

为了在6kbps码率下达到超带宽，Satin根据对语音产生、建模和心理声学的深入理解来提取和编码信号的稀疏表示，在进一步降低所需比特率时，Satin仅对较低频带进行编码和传输某些参数，在解码

了解本专栏 订阅专栏 解锁全文 超级会员免费看
shichaog
关注
专栏目录
订阅专栏
突破压缩极限的AI语音编解码器
学如不及,犹恐失之
02-14 682
语音编码的目的是在保持语音质量的前提下尽可能地减少传输所用的带宽，主要是利用人的发声过程中存在的冗余度和人的听觉特性达到压缩的目的。经过了多年的发展，目前语音编解码器大致可以分为以下几类：
实时音频编解码之九 CELP编码
shichaog的专栏
05-14 1514
本文谢绝任何形式转载，谢谢。 第二章CELP（code-excited linear prediction） LP编码方法是基于声道滤波模型的建模，激励源是声门或噪声，其有两个限制，其一输入激励信号为白噪声，其二严格区分语音和非语音段，只对语音段使用LPC算法，CELP是基于人发声的源-激励模型，和基于LP的编码相比在这两个方面都有改进，构建激励信号码本使激励信号不再是白噪声，使用长短时估计方法而不再严格区分语音/非语音，长时预测滤波器是针对基频而言的，它只是一个具有长延迟的线性预测器CELP是主流语音编码
LPCNET: 通过线性预测改进神经语音合成
beyond_boy的专栏
02-21 3453
LPCNET: 通过线性预测改进神经语音合成摘要索引词 -- 神经音频合成 参数编码 WaveRNN1.导言2.WAVERNN3.LPCNET3.1条件参数3.2 预加重和量化3.3 线性预测3.4 输出层3.5 稀疏矩阵3.6 嵌入和代数简化3.7 从概率分布中抽取样本3.8 训练噪声注入4. 评估4.1 复杂度4.2 实验设置4.3 质量评估5.总结6.引用 摘要   神经语音合成模型最近已经...
CELT 和 SILK 两种编码模式
最新发布
weixin_52734695的博客
07-30 704
这两种编码模式在不同的比特率和应用场景下协同工作，提供高质量的音频编码。Opus编码器结合了CELT和SILK两种编码模式，根据输入信号的类型、比特率和应用场景自适应选择和混合使用这两种模式。中等比特率： 在中等比特率下，Opus结合使用CELT和SILK模式，进行混合编码，保证语音和音乐的平衡质量。高比特率： 在高比特率下，Opus主要使用CELT编码模式，以保证高质量音频。低比特率： 在低比特率下，Opus主要使用SILK编码模式，以保证语音质量。
[论文笔记] LPCNet: Realtime Neural Vocoder
currycode
02-28 7897
简要介绍 LPCNet 是一个 数字信号处理（DSP） 和 神经网络（NN）巧妙结合应用于语音合成中 vocoder 的工作，可以在普通的CPU上实时合成高质量语音。传统上，基于 DSP 的 vocoder 速度很快，但是合成的语音质量不是太好，而基于 NN 的 vocoder 语音质量更高，但通常复杂度太高，无法实时。 背景和动机 首先从语音产生机理的 source-filter 模型...
AI语音编程
csdner_01的博客
11-10 362
AI语音编程来了
LPCNET学习
guoshaotong的博客
01-13 715
可以参考： from 知乎： https://zhuanlan.zhihu.com/p/54952637 reference The μ-law CODEC PCM音频压缩A-Law算法，uLaw a-law原理及算法实现 几种常见音频编码格式的总结 几种基本的pcm编码总结 ...
LPCNet:高效的神经语音合成
05-24
LPC网络 基于WaveRNN的LPCNet算法的低复杂度实现，如下所述： J.-M. Valin， ，提交给 2019 。 J.-M. 华菱，J. Skoglund， ，PROC。 国际声学，语音和信号处理国际会议（ICASSP） ，arXiv：1810.11846,2019。 介绍 通过将线性预测技术应用于WaveRNN来研究低CPU复杂度的语音合成和压缩算法的正在进行的软件。 可以在具有SIMD支持（当前支持AVX，AVX2 / FMA，NEON）的常规CPU（大约3 GFLOP）上合成高质量的语音。 该代码还支持1.6 kb / s的极低比特率压缩。 BSD许可软件是用C和Python / Keras编写的。 为了进行培训，建议使用GTX 1080 Ti或更高版本。 该软件是基于LPCNet / WaveRNN的语音合成和编码的开源起点。 使用现有软件 您可以使用以下代码
Voice_net_aac.rar_AAC编解码_AAC音频编码_aac_语音 编码_音频编码通信
09-14
在音频编码通信领域，理解和应用AAC编解码技术是至关重要的。它不仅涉及到音频处理的基本原理，如数字信号处理和音频编码理论，还包括网络通信协议和实际编程技能。通过学习和实践此类项目，开发者可以提升自己在音...
实时音频编解码之十一Opus编码
shichaog的专栏
05-14 7516
本文谢绝任何形式转载，谢谢。 第四章 Opus编码 Opus是较为成熟的开源商用语音编解码器，其编码质量高且无版权使用费，因WebRTC标准中规定要支持该音频编码器，所以当今各大浏览器都支持Opus编码器。Opus有很多突出的优点，如延迟低、编码范围宽、输出比特率可控等。Opus常用于实时通信和实时流媒体等程序中，通常伴随视频流，由于人耳对声音更为敏感，所以常以音频流RTP时间戳为基准同步视频流，音视频同步并不再本书范畴。 Opus编码比特率范围从窄带的6kbps到高品质立体声的510kbps，Opus使用
c语言 sbc 音频编解码算法
08-09
SBC（Subband Coding，子带编码）是一种广泛应用于蓝牙音频传输的低复杂度、高效能的音频编解码算法。在C语言中实现SBC编解码算法，可以为各种嵌入式设备和移动平台提供高质量的音频传输解决方案。下面我们将深入...
捆绑式LPCNet
02-26
LPC网络 基于WaveRNN的LPCNet算法的低复杂度实现，如下所述： J.-M. Valin， ，提交给 2019 。 J.-M. 华菱，J. Skoglund， ，PROC。 国际声学，语音和信号处理国际会议（ICASSP） ，arXiv：1810.11846,2019。 介绍 通过将线性预测技术应用于WaveRNN来研究低CPU复杂度的语音合成和压缩算法的正在进行的软件。 可以在具有SIMD支持（当前支持AVX，AVX2 / FMA，NEON）的常规CPU（大约3 GFLOP）上合成高质量的语音。 该代码还支持1.6 kb / s的极低比特率压缩。 BSD许可软件是用C和Python / Keras编写的。 为了进行培训，建议使用GTX 1080 Ti或更高版本。 该软件是基于LPCNet / WaveRNN的语音合成和编码的开源起点。 使用现有软件 您可以使用以下代码
语音LPC编码器仿真Matlab程序
04-03
语音LPC编码，语音LPC编码器仿真Matlab程序。包括详细注释，自己写的，可用。
LPCNet:FreeDV 的实验性神经网络语音编码
05-29
适用于FreeDV的LPCNet LPCNet的实验版本已用于开发FreeDV 2020-一种HF无线电数字语音模式，用于通过神经网络语音编码进行空中实验。 可能是在实际操作中首次使用神经网络语音编码。 快速开始 $ git clone https://github.com/drowe67/codec2.git $ cd codec2 && mkdir build_linux && cd build_linux && cmake ../ && make $ cd ~ $ git clone https://github.com/drowe67/LPCNet.git $ cd LPCNet && mkdir build_linux && cd build_linux $ cmake -DCODEC2_BUILD_DIR=~/codec2/build_linux .. $ make 未量化
WM8962音频编解码模块Audio语音模块Cadence16.3设计硬件（原理图+PCB）及PDF原理图.zip
05-09
WM8962音频编解码模块Audio语音模块Cadence16.3设计硬件（原理图+PCB）及PDF原理图，硬件2层板式设计，包括Cadence Allegro设计的原理图和PCB文件，仅供开发设计学习参考。
LPCNET: IMPROVING NEURAL SPEECH SYNTHESIS THROUGH LINEAR PREDICTION
林宋的搬砖流水账
09-05 1404
用了很久的声码器，但是细节一直似懂非懂，详细看一下 abstract LPCNet，是wavenet的变种，把线性预测和循环神经网络结合在一起，大大提升了合成的效率。证明：（1）同样网络尺寸时，LPCNet比Wavenet的合成质量好；（2）LPCNet可以在3 GFLOPS的算力下实现很好的合成质量。 introduction Wavenet网络声码器的弊端：算力消耗比较大 传统声码器：使用线...
LPCNET 速度优化学习
哈哈哈博客
01-26 535
LPCNET LPCNET 包含两个部分frame rate network + sample rate network，其中sample rate network 中会用到线性估计，加入线性估计降低神经网络的复杂度（原始的WaveRNN神经网络需要给整个采样点值建模，而LPCNET的神经网络只需要估计excitation，excitation是采样点的值和线性估计之间的差值）。最后的估计的采样点值为LPC的线性估计结果+神经网络估计的excitation。 LPCNET 速度优化 由于sample ra
Mel为输入的LPCNet: LPCNet-Mel
ruclion的专栏
12-03 264
0. 说明 以Mel为输入, 和GL, WaveNet无缝替换的LPCNet
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

shichaog

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值