最近参加了Intel 2023 oneAPI 人工智能黑客松比赛。这次比赛有三个赛道,我选择的是赛道3: 使用oneAPI人工智能分析工具包实现任何创意。我的创意是利用oneAPI里面的Pytorch 扩展(IPEX )来对alpaca-lora 推理进行加速。
Stanford Alpaca 是在 LLaMA 整个模型上微调,即对预训练模型中的所有参数都进行微调(full fine-tuning)。Alpaca-Lora 则是利用 Lora 技术,在冻结原模型 LLaMA 参数的情况下,通过往模型中加入额外的网络层,并只训练这些新增的网络层参数。由于这些新增参数数量较少,这样不仅微调的成本显著下降,还能获得和全模型微调(full fine-tuning)类似的效果。
IPEX的全称是Intel® Extension for PyTorch(