Paraformer非自回归语音识别
引言
非自回归(NAR)语音识别的主要挑战有两个:如何准确预测目标token的数量、如何提取token之间的依赖。本文提取了Paraformer用于解决是上述两个问题,对于第一个问题,使用基于连续集成和发射(CIF)的来估计目标token数量,对于第二个问题,设计了一个基于浏览语言模型(GLM)的采样器模块,以增强NAR解码器对token相互依赖性建模的能力。
Paraformer架构
上图是Paraformer的体系结构,该体系结构由5个模块组成,分别是编码器、预测器、采样器、解码器和loss函数。该编码器与AR编码器相同,由多个具有记忆单元的自注意模块(SAN-M)和前馈网络(FFN)或Conformer组成。预测器用于产生声学嵌入和引导解码。然后,采样模块根据声学嵌入和字符标记嵌入生成语义嵌入。解码器类似于AR解码器,但它是双向的,由多个SAN-M块、FFN块和交叉多头自注意力模块(MHA)块组成。除交叉熵(CE)损失外,将引导预测器收敛的平均绝对误差(MAE)和MWER损失结合起来共同训练系统。
将输入记为(X, Y),其中X为T个语音帧的声学特征,Y为N个token的目标标签。编码器将输入序列X映射为一个隐藏表示序列H,H随后被送入到预测期中来预测标记数N '并产生声学嵌入Ea。解码器接收声学嵌入Ea和隐藏表示H,第一次生成目标预测Y ',此次不会有反向传播过程。采样器根据预测值Y’与目标token Y之间的距离,在声学嵌入Ea和目标嵌入Ec之间进行采样,生成语义嵌入Es。
然后,解码器接受语义嵌入Es和隐藏表示H,第二次生成最终预测Y”,此次使用反向传播。最后,对预测Y”进行采样,以产生MWER训练的负候选值,并在目标token数N和预测token数N’之间计算MAE。MWER 和 MAE 都与 CE 损失联合训练。
在推理过程中,采样器模块是非活动的,双向并行解码器直接利用声学嵌入 Ea 和隐藏表示 H 仅输出一次的最终预测 Y '。尽管解码器在每个训练阶段向前运行两次,但由于单步解码过程,计算复杂度在推理过程中并没有实际增加。
预测器结合了连续集成和发射(CIF)来预测目标token数量N '和生成声学嵌入Ea。
采样器结合浏览语言模型(GLM)来提取token之间的依赖关系。