文章目录
1. self-pretrain是什么
两种训练方式：
- 预测 下个 词
- 掩码学习
fine-tune：胚胎干细胞，还需要fine-tune才能发挥威力
2. 存在问题
微调还是需要一些数据的
模型太大了
3. Data-Efficient Fine-tuning：Prompt Tuning（提示，更有效地利用数据，比如数据量少的情况下）
跟 Standard fine-tuning的差别
Prompt Tuning在数据量少的情况下会有很好的表现
数据量更少
4. Data-Efficient Fine-tuning：Semi-supervised Learning（半监督）
5. zero-shot
6. PLMs Are Gigantic -> Reducing the Number of Parameters（对于model很大的时候的解决方法）
Parameter-Efficient Fine-tuning
Adapter
LoRA（比Adapter参数量更少（feature压缩得小），推理更快（平行插入））
Prefix Tuning（核心：fine-tuning就是要改变hidden representations）
复习Self-attention
Soft Prompting
4个方法总结
Early Exit（减少inference推理时间）
7. Closing Remarks
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
