基于Sparsely-Gated Experts的Parameter-Efficient Conformers在端到端语音识别中的应用
摘要
虽然Transformer及其变体Conformer在语音识别中表现出良好的性能,但大量的参数导致在训练和推理过程中消耗大量的内存。一些研究采用跨层参数共享的方法来减少模型的参数。然而,这在一定程度上损害了模型的性能。
为了解决这一问题,本文通过Sparsely-Gated Experts提出了一种新的的Conformer。具体地说,我们使用Mixture-of-Expert(MoE)在不增加计算量的情况下扩展Conformer块的容量。然后,分组的Conformer块之间共享参数,从而减少参数的数量。其次,为了保证共享块具有适应不同层次表征的灵活性,分别设计了MoE routers和normalization。此外,我们使用知识蒸馏来进一步提高性能。实验结果表明,与全参数模型相比,该模型只需要1/3的编码器参数就能获得具有竞争力的性能。
模型架构
架构的总体还是一个Conformer模型,其中Conformer Block有G组,每组有C个Conformer Block,不同组之间的对应Conformer Block之间共享参数(图中相同颜色的Conformer Block共享参数),从而模型可以看成一组具有C个Conformer Block的结构循环执行了G次。
参数共享弱化了模型的能力,因此,为了提高模型容量但不增加计算量,在每个Conformer Block的第二个FFN模块中引入MoE,每个Conformer Block的第二个MoE层都激活了不同的专家(或者说每个专家的权重不一样)来计算FFN,具体形式如图中最右边,计算过程可以表达如下,其中g代表每个专家的权重: