基于Intel ARC Graphics本地部署qwen1.8B大模型

基于Intel ARC Graphics本地部署qwen1.8B大模型

背景：

朋友们，前两天在本地搭建好了 xpu 版本的pytorch后，就想在本地部署一个大模型来试试这个Intel arc 这个GPU行不行。于是就有今天这篇踩坑文章，让我们直接开始。

硬件环境：

CPU: Intel Ultra 5 125h

GPU: Intel Arc Graphics

软件环境

Intel® oneAPI Base Toolkit 2024.2 版本（可以参考上一篇环境搭建）

python:3.12.7

anaconda:2024.9.2

pytorch:2.6.0.dev20241119+xpu

一、首先下载我们的模型：

这里我用的是 modelsocpe 来进行下载：

1.1 选择模型

首先去modelsocpe上面搜我们需要的模型

然后点击模型文件->模型下载 这里给我们提供了3种下载方式：SDK 下载、GIT下载、命令行下载

SDK下载我没有用过，就不讲了

1.2 GIT下载：

确认是否安装 lfs

git lfs install

git clone 下载:

git clone https://www.modelscope.cn/Xenova/Qwen1.5-1.8B-Chat.git

1.3 命令行下载：

安装 modelScope

pip install modelscope

下载完整模型：

modelscope download --model Xenova/Qwen1.5-1.8B-Chat

下载模型到指定的目录：