LLMs之LLaMA-2：基于云端进行一键部署对LLaMA2模型实现推理(基于text-generation-webui)执行对话聊天问答任务、采用LoRA微调LLaMA-2-7B模型(配置云端环境【

LLMs之LLaMA-2：基于云端进行一键部署对LLaMA2模型实现推理(基于text-generation-webui)执行对话聊天问答任务、采用LoRA微调LLaMA-2-7B模型(配置云端环境【A100】→下载数据集(采用novel17_test对话数据集(Human-Assistant格式))→加载模型【transformers】→分词→模型训练【peft+SFTTrainer+wandb】→基于HuggingFace实现云端分享)之图文教程详细攻略

目录

一、基于云端(在Google Colab上)进行一键部署并推理

第一步，进入text-generation-webui的GitHub官网页面

第二步，选择对应并合适的模型版本

(1)、云端运行代码

(2)、指定模型—已经自带模型

第三步，基于指定模型实现模型推理—对话聊天、提问问题

二、基于云端(在Google Colab上)实现微调LLaMA2模型

第一步，配置云端环境

1.1、配置A100的GPU

1.2、安装依赖

第二步，采用novel17_test对话数据集(Human-Assistant格式)：基于datasets库下载

AlexanderDoria/novel17_test数据集的详细内容及其格式

第三步，模型微调(采用lora微调LLaMA-2-7B)：基于transformers库、peft 库

3.1、加载LLaMA-2-7B模型

3.2、分词

3.3、加载参数微调库

3.4、模型微调

(1)、载入训练器

(2)、设置参数

(3)、开始微调训练：基于wandb跟踪可视化训练

第四步，将训练过程信息上传到HuggingFace账户实现云端分享

4.1、登录HuggingFace账户

4.2、粘贴tokens后，再点击login，

4.3、运行push_to_hub代码即可实现云端分享

---