超级会员免费看
本文总结了新一代Kaldi的技术创新，包括Pruned RNN-T损失函数优化，GPU上的高效RNN-T解码，多码本量化索引的知识蒸馏，低延时RNN-T和CTC训练，Zipformer模型，以及模型部署方案Sherpa和Sherpa-ncnn。这些技术在语音识别和ASR领域展现出显著的性能提升和效率改进。
1. 技术创新
1.1 Pruned RNN-T loss
该项工作是新一代Kaldi针对RNN-T损失函数的创新性改进。原始的RNN-T损失函数在处理长文本或者长语音的时候显存占用较大，训练时间较长。对此，我们提出对RNN-T的log-probability lattice进行裁剪，能够在不损失训练精度的前提下大幅缩短RNN-T损失函数的计算时间。该工作已经被Interspeech2022收录，我们也撰写了多篇文章详细介绍其中的细节:
- 初探Pruned RNN-T：多快好省的 RNN-T 训练
- 细聊Pruned RNN-T：Pruned RNN-T 何以又快又好
欢迎大家阅读交流！
1.2 RNN-T的快速GPU解码
在该项工作中我们在 GPU 上实现了高效的 FSA 解码，为此我们对 RNN-T 做了一些改造，首先我们
订阅专栏 解锁全文
284
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
