Ollama国产海光DCU（K100-AI）适配

怪只怪满眼尽是人间烟火

已于 2025-04-02 10:47:24 修改

阅读量624

点赞数 2

文章标签： llama

于 2025-04-02 10:32:46 首次发布

本文链接：https://blog.csdn.net/weixin_38959210/article/details/146934766

版权

驱动安装

1、安装依赖：

centos：yum install -y rpm-build gcc-c++ cmake automake elfutils-libelf-devel libdrm libdrm-devel pciutils

ubuntu：apt install -y gcc g++ cmake automake libelf-dev libdrm_amdgpu1或libdrm-amdgpu1 libtinfo5 pciutils libdrm-dev

Centos：yum install -y kernel-devel-`uname -r` kernel-modules-extra 

ubuntu：apt install -y linux-headers-`uname -r` linux-modules-extra/

2、安装驱动

安装流程

1) 下载驱动，下载地址：https://cancon.hpccube.com:65024/6/main/latest%E9%A9%B1%E5%8A%A8

2）修改驱动权限 chmod +x rock*.run

3）安装驱动

./rock*.run

4）重启下驱动服务

systemctl restart hymgr

5）如有升级vbios 需要重启服务器

Docker安装

docker pull image.sourcefind.cn:5000/dcu/admin/base/pytorch:2.3.0-py3.10-dtk24.04.3-ubuntu20.04

docker run --shm-size 500g --network=host --name=dpskr1 --privileged --device=/dev/kfd --device=/dev/dri --group-add video --cap-add=SYS_PTRACE --security-opt seccomp=unconfined -v 项目地址(绝对路径):/home/ -v /opt/hyhal:/opt/hyhal:ro -it <your IMAGE ID> bash

配置ollama环境

git clone -b 0.5.7 http://developer.sourcefind.cn/codes/OpenDAS/ollama.git --depth=1

cd ollama

# 编译

wget https://go.dev/dl/go1.23.4.linux-amd64.tar.gz
tar -C /usr/local -xzf go1.23.4.linux-amd64.tar.gz
export PATH=$PATH:/usr/local/go/bin

# 修改go下载源，提升速度（按需设置）
go env -w GOPROXY=https://goproxy.cn,direct

# 运行编译

export LIBRARY_PATH=/opt/dtk/lib:$LIBRARY_PATH
make -j 16
go build .

启用服务端 (server)

export HSA_OVERRIDE_GFX_VERSION=设备型号（如: Z100L gfx906对应9.0.6；K100 gfx926对应9.2.6；K100AI gfx928对应9.2.8）

# 例如 export HSA_OVERRIDE_GFX_VERSION=9.2.8
# rocminfo|grep gfx 这个命令排查

export ROCR_VISIBLE_DEVICES=显卡序号（0,1,2,3,4,5,6,...）

# 例如 export ROCR_VISIBLE_DEVICES=0,1,2,3
# hy-smi  这个命令排查


./ollama serve

启用应用端 (chat)

cd  ollama

./ollama run deepseek-r1:671b

常用命令

docker start 7126b390877b
#进入容器
docker exec -it 7126b390877b /bin/bash
#进入容器
ollama ps
#查看cpu和gpu占比