Datawhale 大模型基础 Task6 模型之Adaptation篇 笔记

通用大模型不能适用于全部领域，并且有着时效性等问题，因此需要进行适应来改善其性能。

适应主要分为：预训练模型（主干部分的训练，最消耗算力）；获取特定领域的数据集；找一些参数用于适配；定义损失函数来作为适配的标准；进行问题的优化表示。 

适应的方法主要有：探测、微调（可以提升零样本性能、改善泛化能力、获取新任务的能力）。

轻量微调和微调的思路大题相似，分为轻量级微调的变体、提示词微调、前缀微调、适配器微调。

顾名思义，即改变模型少量的参数，给其加上少量的头或者人工给予正确的提示等方法来试图减少训练资源达到提升模型在下游具体任务上性能的目的，其表达能力相当复杂，是以主干模型为基础的。

显然，建立知识库也是另一种能够提升模型在下游任务上的性能的另一种方法。

觉得有用的话，给个一键三连哦，欢迎关注无神一起学AI