- 博客(1)
- 收藏
- 关注
原创 oneAPI人工智能黑客松
Alpaca-Lora 则是利用 Lora 技术,在冻结原模型 LLaMA 参数的情况下,通过往模型中加入额外的网络层,并只训练这些新增的网络层参数。通过最新的功能优化扩展了 PyTorch,优化利用英特尔 CPU 上的 AVX-512 矢量神经网络指令 (AVX512 VNNI) 和英特尔® 高级矩阵扩展 (英特尔® AMX) 以及英特尔独立 GPU 上的英特尔 Xe 矩阵扩展 (XMX) AI 引擎,从而进一步提升了英特尔硬件的性能。通过使用OneAPI的IPEX扩展,推理时间大约能减少12%。
2023-06-25 22:11:21
220
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人