基于华为昇腾910B，实战InternVL2-8B模型推理

基于华为昇腾910B，实战InternVL2-8B模型推理

本文将带领大家基于启智平台，使用 LMDeploy 推理框架在华为昇腾 910B 上实现 InternVL2-8B 模型的推理。

https://github.com/OpenGVLab/InternVL

https://github.com/InternLM/lmdeploy

1.登录启智平台

https://openi.pcl.ac.cn/

2.创建云脑任务

我们新建云脑任务

目前启智平台提供 4 种 AI 训练任务（调试任务、训练任务、在线推理、通用任务），这里我们选择调试任务。

所属项目，我们选择一个已经有的项目，没有项目，可以新建，这个就不详细展开。（可以点击右上角）

接下就是选择算力平台，启智平台目前提供好几个厂商的算力平台。（英伟达、昇腾NPU、遂源GCU、寒武纪MLU、海光DCU、天数智芯GPGPU、沐曦GPGPU），这里我们选华为昇腾NPU。

资源规格栏， 我们选择 D910B 的显卡。（显存 64GB 、CPU24 、内存 192GB）

镜像栏会随着我们选择的显卡会出现相应的模型镜像，这里我们选择 openmind_cann8。

点击新建任务等待服务器创建新任务，创建完成系统会进入服务器资源分配等待列表中。

当分配资源完成后，状态变成运行状态，这个时候右边操作会出现调试按钮。