DeepSeek 模型在英特尔锐炫™ 显卡上的高效推理实践

最新推荐文章于 2025-03-22 08:31:06 发布

OpenVINO 中文社区

最新推荐文章于 2025-03-22 08:31:06 发布

阅读量220

点赞数

原文链接：https://mp.weixin.qq.com/s?__biz=MzkyNjEwNTIzMQ==&mid=2247534275&idx=1&sn=2f6dbe1f67a08d59efeee928a88a2f8e&chksm=c3a927b61999e816ab06cafd302337f4c204a0605ca90211966fe0b1e197d6d727008252a781&scene=126&sessionid=0

版权

点击蓝字

关注我们,让开发变得更有趣

OpenVINO™

随着人工智能技术的迅猛发展，大规模语言模型（LLMs）在自然语言处理、内容生成和智能对话等领域的应用日益广泛。国产 AI 大模型 DeepSeek 凭借其强大的生成能力和广泛的应用场景，迅速成为业界焦点。

目前，我们已经在英特尔® 酷睿™ 处理器与英特尔锐炫™ 显卡组成的硬件配置上，完成对大模型推理的验证，为 AI 模型的部署和推理提供了强有力的支持。

本文将带您深入了解如何在英特尔平台上高效部署 DeepSeek 模型，充分发挥其潜力，助力 AI 应用的快速落地。

OpenVINO™

硬件配置

GPU: 英特尔锐炫™ B580 12G

OpenVINO™

BIOS 配置

安装英特尔锐炫™显卡后，必须在 BIOS 中启用 PCIe 可重设 BAR（Base Address Register）。

OpenVINO™

操作系统和驱动程序安装

3.1 Ubuntu* 24.10 操作系统安装

以下是下载和安装 Ubuntu 24.10 的步骤：

1) 下载并安装 Ubuntu 24.10

wget https://releases.ubuntu.com/24.10/ubuntu-24.10-desktop-amd64.iso

2）关闭 Ubuntu 无人值守升级，以避免未经验证的内核更新。

Setting->Power->Power Saving->Screen Blank->Never

设置 -> 电源 -> 节能 -> 屏幕空白 -> 从不

System->Users->Automatic Login

系统 -> 用户 -> 自动登录

sudo systemctl disable --now unattended-upgrades

然后编辑/etc/apt/apt.conf.d/20auto-upgrades，将Unattended-Upgrade设置为 “0”。

3）检查内核版本是否为 6.11.

$ uname -a
Linux benchmark-Z590-VISION-D 6.11.0-8-generic #8-Ubuntu SMP PREEMPT_DYNAMIC Mon Sep 16 13:41:20 UTC 2024 x86_64 x86_64 x86_64 GNU/Linux

4）重新启动设备，查看显示是否正常工作。

3.2 英特尔客户端 GPU

驱动程序安装（ARC B 系列）

参考：

https://dgpu-docs.intel.com/driver/client/overview.html#installing-client-gpus-on-ubuntu-desktop-24-10

3.2.1 在 Ubuntu Desktop 24.10 上

安装客户端 GPU

使用以下命令安装 intel-graphics PPA 和必要的计算与媒体包：

sudo apt-get update
sudo apt-get install -y software-properties-common


# Add the intel-graphics PPA for 24.10
sudo add-apt-repository -y ppa:kobuk-team/intel-graphics


# Install the compute-related packages
sudo apt-get install -y libze-intel-gpu1 libze1 intel-ocloc intel-opencl-icd clinfo intel-gsc hwinfo


# Install the media-related packages
sudo apt-get install -y intel-media-va-driver-non-free libmfx1 libmfx-gen1 libvpl2 libvpl-tools libva-glx2 va-driver-all vainfo

安装完毕后，请启动“命令提示符”，然后输入 “dotnet --info” 指令，验证安装是否成功：

上述命令安装了大多数用户所需的所有基本包，旨在尽量减少不必要的包安装。

请注意，不同版本的 intel-opencl-icd 可能会有不同的性能表现。

3.2.2 配置渲染组成员资格

要访问 GPU 功能，当前用户必须能够访问 /dev/dri 中的 DRM 渲染节点。

如果当前用户不是 DRM 渲染节点（通常为 'render'）组的成员，请将用户添加到渲染节点组。

sudo gpasswd -a ${USER} render

这对更新后创建的 shell 就足够了。要更改当前 shell 的组 ID：

newgrp render

3.3 验证英特尔锐炫™ B580 PCIe 配置空间

确保英特尔锐炫™ B580 PCIe 配置空间具有 12GB 的 BAR2。以下是检查 GPU PCIe 配置空间的指南：

步骤 1：列出 VGA 设备的 PCIe 总线地址。

lspci | grep -i vga

您将在屏幕上看到这些消息：

步骤 2：检查英特尔锐炫™ B580 的 PCIe 功能。

sudo lspci -s 03:00 -vvv | grep BAR

您将看到英特尔锐炫™ B580 的 PCIe 功能，并检查 PCIe 配置空间。

OpenVINO™

OpenVINO™ 和基准测试工具安装

OpenVINO™ 是一个开源工具包，用于优化和部署从云到边缘的深度学习模型。它加速了各种用例的深度学习推理，如生成式 AI、视频、音频和语言，支持来自流行框架（如 PyTorch、TensorFlow、ONNX 等）的模型。转换和优化模型，并部署在混合的英特尔® 硬件和环境中，无论是在本地、设备上、浏览器中还是云端。

OpenVINO™ GenAI 是 OpenVINO™ 的一个变体，旨在简化生成式 AI 模型的推理运行。它隐藏了生成过程的复杂性，并最大限度地减少了所需的代码量。

使用以下命令快速安装 OpenVINO™ 和工具。

git clone https://github.com/openvinotoolkit/openvino.genai.git


cd ./tools/llm_bench


python3 -m venv python-env


source python-env/bin/activate


pip install --upgrade pip


pip install -r requirements.txt

更多详情请参考 openvino.genai/tools/llm_bench at master · openvinotoolkit/openvino.genai · GitHub

https://github.com/openvinotoolkit/openvino.genai/tree/master/tools/llm_bench

OpenVINO™

运行 DeepSeek 蒸馏模型的基准测试

5.1 下载预训练的 LLM 模型

访问：

https://huggingface.co 或 https://www.modelscope.cn

下载 deepseek 蒸馏模型，并将下载的模型保存在 ~/models 文件夹中。

5.2 将模型转换为 OpenVINO™ IR

运行以下命令将 DeepSeek-R1-Distill-Qwen-7B 转换为 IR 格式并将权重压缩为 INT4。您的系统必须至少具有 64GB 内存才能进行转换。

optimum-cli export openvino --framework pt 
-m ./DeepSeek-R1-Distill-Qwen-7B --weight-format int4 –sym 
--trust-remote-code --task 
text-generation-with-past ./DeepSeek-R1-Distill-Qwen-7B-IR

5.3 使用 OpenVINO™ 启动 LLM 基准测试

要在 B580 上启动 LLM 模型 DeepSeek-R1-Distill-Qwen-7B 的基准测试，请运行以下命令：

python3 benchmark.py -m DeepSeek-R1-Distill-Qwen-7B-IR -n 1 -d GPU
python benchmark.py -m DeepSeek-R1-Distill-Qwen-7B-IR -p "What is openvino?" -n 1 -d GPU

测试结果将显示在屏幕上。请注意，结果可能因平台和软件版本而异。

OpenVINO™

通过本文的详细步骤和配置指南，我们成功在英特尔平台上验证了 DeepSeek 蒸馏模型的推理性能。从硬件配置、BIOS 设置、操作系统安装到驱动程序和 OpenVINO™ 工具的部署，每一步都确保了系统发挥更卓越的性能。

通过基准测试，我们展示了 DeepSeek-R1-Distill-Qwen 系列模型在 INT4 精度下的高效推理能力，尤其是在首个 token 和后续 token 的延迟表现上，展现了英特尔锐炫™ 显卡在处理大模型推理任务时的强大潜力。英特尔锐炫™ B580能够为AI工作负载提供加速，其配备的英特尔Xe矩阵计算引擎（XMX），为新推出的XeSS 2提供强大支持。OpenVINO™ 工具套件可以缩短延迟，提高吞吐量，加速 AI 推理过程，同时保持精度，缩小模型占用空间，优化硬件使用。

未来，随着硬件和软件的进一步优化，我们期待在更多复杂场景中，特别是在生成式 AI 和大规模语言模型的应用中，验证和英特尔锐炫™ 显卡的性能，通过英特尔丰富的软硬件产品协同，为 DeepSeek 及各种 AI 大模型的应用提供更强大的算力，让边缘侧部署 AI 的使用场景有更多可能。

OpenVINO™

---------------------------------------

*OpenVINO and the OpenVINO logo are trademarks of Intel Corporation or its subsidiaries.

-----------------------------

OpenVINO 中文社区

微信号 : openvinodev

B站：OpenVINO中文社区

“开放、开源、共创”

致力于通过定期举办线上与线下的沙龙、动手实践及开发者交流大会等活动，促进人工智能开发者之间的交流学习。

○ 点击 “ 在看 ”，让更多人看见