基础-微调
文章平均质量分 91
基础-微调
nopSled
一周一更
展开
-
Instance-wise Prompt Tuning for Pretrained Language Models翻译
最近几年,我们见证了大规模预训练在自然语言中的巨大成功。大规模数据上训练的预训练语言模型(PLM)在一系列下游任务中取得了巨大成就,包括自然语言理解(NLU),自然语言生成(NLG)等。这种方式属于预训练-微调框架,其中模型在大规模无监督数据上进行预训练,并在特定任务数据集上微调。但是,在所有模型参数上进行微调是内存不高效的,并且对于不同的下游任务要求具有不同的模型。提示学习是高效利用大型PLM的一种方法。直观上,PLM已经具备了大量知识,而下游任务的关键是检索到所需部分的知识。翻译 2023-01-03 11:44:40 · 243 阅读 · 0 评论 -
Selecting Informative Contexts Improves Language Model Fine-tuning翻译
摘要语言模型微调对于现在的自然语言处理技术至关重要,但在计算上昂贵和费时。此外,当包含能对性能产生负面影响的训练样例时,会对微调的有效性受到限制。在这里,我们提出了一种通用的微调方法,我们称为information gain filtration,以提高语言模型微调整体的训练效率和最终性能。我们将一条样本的信息增益定义为在对该样本训练之后对测试指标的改进,然后训练第二个学习器以估计这个量。在微调期间,该学习器选择有信息的样例并跳过无信息的样例。我们展示我们的方法在各种数据集,微调任务和语言模型架构上都具有翻译 2022-03-22 15:07:41 · 100 阅读 · 0 评论 -
How to Fine-Tune BERT for Text Classification? 翻译
摘要1.介绍2.相关工作2.1 Language Model Pre-training2.2 Multi-task learning3.BERT for Text Classification翻译 2021-09-08 11:48:48 · 399 阅读 · 0 评论 -
Prefix-Tuning: Optimizing Continuous Prompts for Generation翻译
摘要1.介绍2.相关工作翻译 2021-08-26 17:08:35 · 3245 阅读 · 0 评论 -
BETTER FINE-TUNING BY REDUCING REPRESENTATIONAL COLLAPSE翻译
摘要翻译 2021-04-14 11:43:32 · 637 阅读 · 0 评论