2、微调VS提示工程

微调和提示工程都是让预训练语言模型适应特定任务的两种常见方法

微调

1、原理: 使用特定任务的数据集对预训练模型进行进一步训练，调整模型参数以适应新任务。
2、优点:
（1）更高的准确率: 通常能获得比提示工程更高的准确率，因为模型参数经过了更精细的调整。
（2）更灵活: 可以处理各种各样的任务，包括文本分类、问答、文本生成等。
3、缺点:
（1）需要更多数据: 需要大量的特定任务数据进行训练。
（2）训练时间更长: 训练过程耗时更长，需要更大的计算资源。
（3）容易过拟合: 如果训练数据不足或质量不高，容易导致模型过拟合，在测试集上表现不佳。
（4）模型存储空间更大: 微调后的模型通常比原始预训练模型更大。

提示工程

1、原理: 通过设计有效的提示词，引导预训练模型输出特定结果，无需进行模型参数更新。
2、优点:
（1）无需训练: 不需要额外的训练数据和训练过程，可以节省时间和资源。
（2）更轻量级: 不需要存储新的模型参数，只需要存储提示词，占用空间更小。
（3）更灵活: 可以通过调整提示词来适应不同的任务和需求。
3、缺点:
（1）准确率较低: 通常比微调的准确率低，因为模型参数没有进行调整。
（2）对提示词的质量要求高: 需要设计合适的提示词才能获得理想的结果。
（3）可解释性较差: 提示词的设计过程缺乏可解释性，难以理解为什么某些提示词会带来更好的结果。