1. 语音识别的输出类别:
1)phoneme:输出为发音,比较简单,因为语音跟发音是一一对应的,但是需要一个词汇表,表示发音跟word的对应。
2)Grapheme:字母或者token
3)word:短语,V会很大
4)morpheme:代表含义的最小单位
5)byte:utf-8,适用于任何语言
2. 输入特征:(具体的处理可以看下图,以MFCC为例子,如果不经过DCT,就是目前用的最普遍的fliter bank output)
3. 那确定了输入以及输出,接下来介绍中间的模型。
1)以下的模型都是seq-to-seq模型架构的:
⚠️encoder: