Accelerating BERT Inference for Sequence Labeling via Early-Exit
链接:https://arxiv.org/pdf/2105.13878.pdfgithub:https://github.com/LeeSureman/Sequence-Labeling-Early-ExitBert等一系列预训练模型虽然在下游任务上有很好的表现,但是他们的计算代价是比较大的。从而使得工程上使用局限比较大。为了解决这个问题,提出了模型压缩的一系列方法如:剪枝,知识蒸馏以及早退机制等。其中,早退机制是认为一些样本在比较浅的层就能得到正确的结果,那么就可以终止这些样本的训练,从而加速推理
原创
2022-05-13 21:43:59 ·
416 阅读 ·
0 评论