Llama 3.1：使用 Transformer 在运行时热插拔 LoRA 适配器

简介

我非常喜欢 LoRA 的一个功能，那就是能够在运行时热插拔它们。只要两个适配器使用相同的基本模型，您就可以加载基本模型，然后在给定时间激活或停用所需的适配器。无需加载或卸载完整模型，只需加载小得多的 LoRA 权重，您就可以完全改变模型的行为方式。这是一个非常强大的工具，在 Hugging Face 生态系统中很容易做到！

在本笔记本中，我快速介绍了如何向基础模型添加多个适配器以及如何在运行时启用和禁用它们。我们将使用 Llama-3.1–8b-Instruct 和我为其训练的 2 个适配器，每个适配器都将独特的个性嵌入到模型中。

推荐文章

• 《部署 Llama 3.1 405B：分步指南,深入研究 Llama 最新模型 Llama 3.1 4050 亿参数模型的部署。这个强大的模型需要大量的 VRAM，特别是 4 位量化版本需要 231 G》 权重1，cuda类

• 《CUDA 编程之 02 一维卷积》 权重1，cuda类