开源模型应用落地-qwen模型小试-合并Lora模型-进阶篇（八）

 一、前言

    这篇文章是关于qwen模型进一步学习的内容，主要讲述了如何将微调后的权重模型与基座模型进行合并。

---

二、术语

2.1. Lora微调

    是处理微调大型语言模型的问题而引入的一项新技术。其核心思想是利用低秩适配（low-rank adaptation）的方法，在使用大模型适配下游任务时只需要训练少量的参数即可达到一个很好的效果。

2.2. 基座模型

    是指在自然语言处理任务中，使用大规模数据进行预训练的模型，学习了语言的结构、语法、语义等知识，以及文本数据的统计特征。它通常被用作其他自然语言处理任务的基础，比如文本分类、命名实体识别、情感分析等。

2.3. Lora权重

    在 Lora 微调过程中需要学习的参数。是通过在基座模型上增加低秩矩阵来实现的，而这些低秩矩阵的参数就是 Lora 权重。这些权重决定了模型在微调过程中如何对输入数据进行处理和生成响应。通过调整 Lora 权重，可以使模型更好地适应特定的任务或数据集，提高模型的性能和准确性。

2.4. PEFT

    全称为Parameter-Efficient Fine-Tuning，即参数高效微调，是一种通过最小化微调参数的数量和计算复杂度，来提高预训练模型在新任务上性能的技术。它可以在提高模型效果的同时，缩短模型训练时间和计算成本。

---

三、前置条件

3.1.提前下载好Qwen-7B-Chat模型

    当然通过代码在线下载也可以...只是没必要浪费这个时间</