LLM-微调：LoRA 模型合并与保存【将利用lora训练后的lora模型与基座模型合并，将新合并的模型用作独立模型】【可以将基座模型合并多个lora模型】【也可不合并模型，前向推理计算后再合并结果】

一.引言 I. Introduction

LLM 使用过程中最常用方法之一就是通过 LoRA 基于自己的数据对大模型进行微调，本文简单介绍 LoRA 原理以及如何合并多个 LoRA 模型并保存。

peft==0.4.0
transformers==4.29.1

二.LoRA 

1.LoRA 简介