#今日论文推荐#Ladder Side-Tuning：预训练模型的“过墙梯”

#今日论文推荐#Ladder Side-Tuning：预训练模型的“过墙梯”

如果说大型的预训练模型是自然语言处理的“张良计”，那么对应的“过墙梯”是什么呢？笔者认为是高效地微调这些大模型到特定任务上的各种技巧。除了直接微调全部参数外，还有像 Adapter [1]、P-Tuning 等很多参数高效的微调技巧，它们能够通过只微调很少的参数来达到接近全量参数微调的效果。然而，这些技巧通常只是“参数高效”而并非“训练高效”，因为它们依旧需要在整个模型中反向传播来获得少部分可训练参数的梯度，说白了，就是可训练的参数确实是少了很多，但是训练速度并没有明显提升。
最近的一篇论文《LST: Ladder Side-Tuning for Parameter and Memory Efficient Transfer Learning》[2] 则提出了一个新的名为“Ladder Side-Tuning（LST）”的训练技巧，它号称同时达到了参数高效和训练高效。是否真有这么理想的“过墙梯”？本来就让我们一起来学习一下。

论文题目：LST: Ladder Side-Tuning for Parameter and Memory Efficient Transfer Learning
详细解读：https://www.aminer.cn/research_report/62b994207cb68b460fdcfaddhttps://www.aminer.cn/research_report/62b994207cb68b460fdcfadd
AMiner链接：https://www.aminer.cn/?f=cs