本文探讨了语音识别的基本概念，包括输出类别（phoneme、grapheme、word等）和输入特征（如MFCC）。介绍了seq-to-seq模型架构中的down-sampling、encoder、attention机制和decoder的细节，如RNN、CNN、self-attention模型。讨论了不同的解码方法（greedy decoding、beam search）和损失函数（交叉熵损失）。同时，提到了label smoothing在防止过拟合中的作用。
1. 语音识别的输出类别：
1）phoneme：输出为发音，比较简单，因为语音跟发音是一一对应的，但是需要一个词汇表，表示发音跟word的对应。
2）Grapheme：字母或者token
3）word：短语，V会很大
4）morpheme：代表含义的最小单位
5）byte：utf-8，适用于任何语言
2. 输入特征：（具体的处理可以看下图，以MFCC为例子，如果不经过DCT，就是目前用的最普遍的fliter bank output）
3. 那确定了输入以及输出，接下来介绍中间的模型。
1）以下的模型都是seq-to-seq模型架构的：
⚠️encoder：
1万+
811
859
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
最低0.47元/天 解锁文章
