数据设计：通过微调来优化SLM（小模型）的性能

原文地址：data-design-for-fine-tuning-to-improve-small-language-model-behaviour

2024 年 4 月 17 日

通过使用创造性的数据格式来微调数据，教授小语言模型进行自我纠正和推理。通过提示删除和部分答案屏蔽。

小语言模型通常缺乏自我意识，并且往往对其生成的响应表现出更大的信心。采用提示擦除和部分答案屏蔽 (PAM) 方法可显着提高 SLM 响应的质量。

介绍

似乎在最近的过去，当谈到语言模型（LLM 和 SLM）时，焦点一直集中在数据交付部分。换句话说，如何在推理时将专有数据引入语言模型。