- 博客(1)
- 问答 (2)
- 收藏
- 关注
原创 大模型微调方法P-tuning学习笔记
Bert时代,我们常做预训练模型微调(Fine-tuning),即根据不同下游任务,引入各种辅助任务loss和垂直领域数据,将其添加到预训练模型中,以便让模型更加适配下游任务的方式。每个下游任务都存下整个预训练模型的副本,并且推理必须在单独的批次中执行。那么能不能将所有自然语言处理的任务转换为语言模型任务?就是所有任务都可以被统一建模,任务描述与任务输入视为语言模型的历史上下文,而输出则为语言模型需要预测的未来信息。
2023-04-25 17:51:39
1215
1
空空如也
请问为什么cmd打开以后没有base环境了
2021-11-30
安装 openpyxl时候显示 wrong version number,请问如何解决?
2021-11-23
TA创建的收藏夹 TA关注的收藏夹
TA关注的人