尝试使用Intel NPU运行大模型

 在安装了新的 Intel Ultra AIPC 上怎么运行 LLM?

1. Nvidia GPU
2. Intel CPU
3. Intel NPU

我们尝试使用现在闲置的NPU运行Qwen模型, 本示例参考 intel_npu_acceleration_library 实现:

步骤:

1. 安装 python 3.10 https://www.python.org/ftp/python/3.10.11/python-3.10.11-amd64.exe (目前不支持python 3.12)

2. pip 安装 modelscope, torch等, 以及 intel_npu_acceleration_library

3. 运行以下代码测试, 为加快测试, 仅下载 Qwen1.5-0.5B模型(代码会自动从 modelscope 下载)

import os
import torch
import intel_npu_acceleration_library
from modelscope import AutoModelForCausalLM, AutoTokenizer
from transformers import TextStreamer

model_name = "qwen/Qwen1.5-0.5