#今日论文推荐# 教大模型自己跳过“无用”层，推理速度×3性能不变，谷歌MIT这个新方法火了

#今日论文推荐# 教大模型自己跳过“无用”层，推理速度×3性能不变，谷歌MIT这个新方法火了

大语言模型用着爽，但推理速度实在太慢了？
而且，增加模型体积，推理效果也并不一定就比之前更好。
为了解决这一问题，谷歌MIT的研究人员提出了一个新框架CALM，让它自己来决定计算量。
如果CALM意识到某些层“可有可无”，那么它在计算时就会跳过这些层。
论文被po到网上后，立刻火了一波.

有网友表示，我们就是需要这样更智能和自适应的模型，显然CALM的解码器已经做到了.

直接用中间层输出结果
CALM全称Confident Adaptive Language Modeling，即置信自适应大语言模型。
这一模型基于Transformer架构，为了加速它的计算，研究人员提出了一个名叫“提前退出”（early exiting）的方法，让模型根据不同的输入，动态决定要用多少层网络来计算。
也就是说，在计算的过程中，模型不需要经过每一层计算再输出结果，而是能直接用中间层的特征输出token，从而降低模型计算量。

论文题目：Confident Adaptive Language Modeling
详细解读：https://www.aminer.cn/research_report/62ddfb537cb68b460ff3606dhttps://www.aminer.cn/research_report/62ddfb537cb68b460ff3606d
AMiner链接：https://www.aminer.cn/?f=cs