Prompt recovery —— Phi2模型

文章目录

• • 概要
  • 整体架构流程

概要

在huggingface开源LLM榜单中，看到phi2模型的下载量仅次于Llamma3，并且看到微软在几个公开的基准测试集上进行测试，phi2的效果好于phi1.5，且是基于GPT生成的合成数据进行预训练，于是想尝试一下微调phi2。

整体架构流程

在T4 GPU上使用FP16 phi2-2.7B进行推理，大概消耗VRAM 6个G。

使用QLORA进行微调，需要用给模型加EOS点，将LORA模块加入到QKV和Projection中，用SFT的方式进行微调，用时大概24小时。