weixin_62100203的博客

原创 oneAPI人工智能黑客松

Alpaca-Lora 则是利用 Lora 技术，在冻结原模型 LLaMA 参数的情况下，通过往模型中加入额外的网络层，并只训练这些新增的网络层参数。通过最新的功能优化扩展了 PyTorch，优化利用英特尔 CPU 上的 AVX-512 矢量神经网络指令 (AVX512 VNNI) 和英特尔® 高级矩阵扩展 (英特尔® AMX) 以及英特尔独立 GPU 上的英特尔 Xe 矩阵扩展 (XMX) AI 引擎，从而进一步提升了英特尔硬件的性能。通过使用OneAPI的IPEX扩展，推理时间大约能减少12%。