论文笔记:Tsinghua:Finding Skill Neurons in Pre-trained Transformer-based Language Models[EMNLP22]
本文发现了对特定任务的prompt tuning之后的某些神经元对该任务有很高的预测性。1.1skill neurons对对应task至关重要当相关的神经元受到干扰时,任务能力显著下降1.2skill neurons是对应特定任务的类似的任务往往有相似的技能神经元分布。并将其命名为此外,证明了skill neurons很可能是在预训练过程中产生的,而并非是在微调时产生。3.1加速Transformers的训练通过网络剪枝和建立更好的可迁移性指标。3.2。
原创
2023-09-04 21:57:03 ·
169 阅读 ·
0 评论