解锁RK3566的无限潜力：DeepSeek本地部署的详细攻略与实用技巧（CPU+NPU）

最新推荐文章于 2025-03-17 11:56:28 发布
最新推荐文章于 2025-03-17 11:56:28 发布
阅读量1k 收藏 14
点赞数 9
文章标签： ai 云计算
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u014156384/article/details/145992677
版权

RK3566是瑞芯微推出的一款高性能、低功耗的四核ARM Cortex-A55处理器，主频可达2.0 GHz，集成Mali-G52 GPU，支持4K视频解码，最大支持8GB LPDDR4/DDR4内存，接口丰富，包括USB 3.0和HDMI 2.0，广泛应用于智能家居、工业控制和数字标牌等领域。

恰巧我手头有一块PerplePI的板子，deepseek跑起来玩玩

CPU的话，就比较简单了，先运行

curl -fsSL https://ollama.com/install.sh | sh

安装ollama，然后运行

ollama run deepseek-r1:1.5b

就会自动下载模型并运行了，如果遇到下载不下来ollama的问题的话，可以下载离线包后，修改安装脚本，我这里直接贴出修改后的脚本，自己适配即可

#!/bin/sh
# This script installs Ollama on Linux.
# It detects the current operating system architecture and installs the appropriate version of Ollama.

set -eu

red="$( (/usr/bin/tput bold || :; /usr/bin/tput setaf 1 || :) 2>&-)"
plain="$( (/usr/bin/tput sgr0 || :) 2>&-)"

status() { echo ">>> $*" >&2; }
error() { echo "${red}ERROR:${plain} $*"; exit 1; }
warning() { echo "${red}WARNING:${plain} $*"; }

TEMP_DIR=$(mktemp -d)
cleanup() { rm -rf $TEMP_DIR; }
trap cleanup EXIT

available() { command -v $1 >/dev/null; }
require() {
    local MISSING=''
    for TOOL in $*; do
        if ! available $TOOL; then
            MISSING="$MISSING $TOOL"
        fi
    done

    echo $MISSING
}

[ "$(uname -s)" = "Linux" ] || error 'This script is intended to run on Linux only.'

ARCH=$(uname -m)
case "$ARCH" in
    x86_64) ARCH="amd64" ;;
    aarch64|arm64) ARCH="arm64" ;;
    *) error "Unsupported architecture: $ARCH" ;;
esac

IS_WSL2=false

KERN=$(uname -r)
case "$KERN" in
    *icrosoft*WSL2 | *icrosoft*wsl2) IS_WSL2=true;;
    *icrosoft) error "Microsoft WSL1 is not currently supported. Please use WSL2 with 'wsl --set-version <distro> 2'" ;;
    *) ;;
esac

VER_PARAM="${OLLAMA_VERSION:+?version=$OLLAMA_VERSION}"

SUDO=
if [ "$(id -u)" -ne 0 ]; then
    # Running as root, no need for sudo
    if ! available sudo; then
        error "This script requires superuser permissions. Please re-run as root."
    fi

    SUDO="sudo"
fi

NEEDS=$(require curl awk grep sed tee xargs)
if [ -n "$NEEDS" ]; then
    status "ERROR: The following tools are required but missing:"
    for NEED in $NEEDS; do
        echo "  - $NEED"
    done
    exit 1
fi

for BINDIR in /usr/local/bin /usr/bin /bin; do
    echo $PATH | grep -q $BINDIR && break || continue
done
OLLAMA_INSTALL_DIR=$(dirname ${BINDIR})

if [ -d "$OLLAMA_INSTALL_DIR/lib/ollama" ] ; then
    status "Cleaning up old version at $OLLAMA_INSTALL_DIR/lib/ollama"
    $SUDO rm -rf "$OLLAMA_INSTALL_DIR/lib/ollama"
fi
status "Installing ollama to $OLLAMA_INSTALL_DIR"
$SUDO install -o0 -g0 -m755 -d $BINDIR
$SUDO install -o0 -g0 -m755 -d "$OLLAMA_INSTALL_DIR"



LOCAL_OLLAMA_TGZ="./ollama-linux-${ARCH}.tgz${VER_PARAM}"
if [ -f "$LOCAL_OLLAMA_TGZ" ]; then
    status "Installing from local file $LOCAL_OLLAMA_TGZ"
    $SUDO tar -xzf "$LOCAL_OLLAMA_TGZ" -C "$OLLAMA_INSTALL_DIR"
    BUNDLE=1
    if [ ! -e "$BINDIR/ollama" ]; then
        status "Making ollama accessible in the PATH in $BINDIR"
        $SUDO ln -sf "$OLLAMA_INSTALL_DIR/ollama" "$BINDIR/ollama"
    fi
else
    echo "Error: The local file $LOCAL_OLLAMA_TGZ does not exist."
    exit 1
fi


install_success() {
    status 'The Ollama API is now available at 127.0.0.1:11434.'
    status 'Install complete. Run "ollama" from the command line.'
}
trap install_success EXIT

# Everything from this point onwards is optional.

configure_systemd() {
    if ! id ollama >/dev/null 2>&1; then
        status "Creating ollama user..."
        $SUDO useradd -r -s /bin/false -U -m -d /usr/share/ollama ollama
    fi
    if getent group render >/dev/null 2>&1; then
        status "Adding ollama user to render group..."
        $SUDO usermod -a -G render ollama
    fi
    if getent group video >/dev/null 2>&1; then
        status "Adding ollama user to video group..."
        $SUDO usermod -a -G video ollama
    fi

    status "Adding current user to ollama group..."
    $SUDO usermod -a -G ollama $(whoami)

    status "Creating ollama systemd service..."
    cat <<EOF | $SUDO tee /etc/systemd/system/ollama.service >/dev/null
[Unit]
Description=Ollama Service
After=network-online.target

[Service]
ExecStart=$BINDIR/ollama serve
User=ollama
Group=ollama
Restart=always
RestartSec=3
Environment="PATH=$PATH"

[Install]
WantedBy=default.target
EOF
    SYSTEMCTL_RUNNING="$(systemctl is-system-running || true)"
    case $SYSTEMCTL_RUNNING in
        running|degraded)
            status "Enabling and starting ollama service..."
            $SUDO systemctl daemon-reload
            $SUDO systemctl enable ollama

            start_service() { $SUDO systemctl restart ollama; }
            trap start_service EXIT
            ;;
        *)
            warning "systemd is not running"
            if [ "$IS_WSL2" = true ]; then
                warning "see https://learn.microsoft.com/en-us/windows/wsl/systemd#how-to-enable-systemd to enable it"
            fi
            ;;
    esac
}

if available systemctl; then
    configure_systemd
fi

# WSL2 only supports GPUs via nvidia passthrough
# so check for nvidia-smi to determine if GPU is available
if [ "$IS_WSL2" = true ]; then
    if available nvidia-smi && [ -n "$(nvidia-smi | grep -o "CUDA Version: [0-9]*\.[0-9]*")" ]; then
        status "Nvidia GPU detected."
    fi
    install_success
    exit 0
fi

# Don't attempt to install drivers on Jetson systems
if [ -f /etc/nv_tegra_release ] ; then
    status "NVIDIA JetPack ready."
    install_success
    exit 0
fi

# Install GPU dependencies on Linux
if ! available lspci && ! available lshw; then
    warning "Unable to detect NVIDIA/AMD GPU. Install lspci or lshw to automatically detect and install GPU dependencies."
    exit 0
fi

check_gpu() {
    # Look for devices based on vendor ID for NVIDIA and AMD
    case $1 in
        lspci)
            case $2 in
                nvidia) available lspci && lspci -d '10de:' | grep -q 'NVIDIA' || return 1 ;;
                amdgpu) available lspci && lspci -d '1002:' | grep -q 'AMD' || return 1 ;;
            esac ;;
        lshw)
            case $2 in
                nvidia) available lshw && $SUDO lshw -c display -numeric -disable network | grep -q 'vendor: .* \[10DE\]' || return 1 ;;
                amdgpu) available lshw && $SUDO lshw -c display -numeric -disable network | grep -q 'vendor: .* \[1002\]' || return 1 ;;
            esac ;;
        nvidia-smi) available nvidia-smi || return 1 ;;
    esac
}

if check_gpu nvidia-smi; then
    status "NVIDIA GPU installed."
    exit 0
fi

if ! check_gpu lspci nvidia && ! check_gpu lshw nvidia && ! check_gpu lspci amdgpu && ! check_gpu lshw amdgpu; then
    install_success
    warning "No NVIDIA/AMD GPU detected. Ollama will run in CPU-only mode."
    exit 0
fi

if check_gpu lspci amdgpu || check_gpu lshw amdgpu; then
    status "Downloading Linux ROCm ${ARCH} bundle"
    curl --fail --show-error --location --progress-bar \
        "https://gh.llkk.cc/https://github.com/ollama/ollama/releases/download/v0.5.7/ollama-linux-${ARCH}-rocm.tgz${VER_PARAM}" | \
        $SUDO tar -xzf - -C "$OLLAMA_INSTALL_DIR"

    install_success
    status "AMD GPU ready."
    exit 0
fi

CUDA_REPO_ERR_MSG="NVIDIA GPU detected, but your OS and Architecture are not supported by NVIDIA.  Please install the CUDA driver manually https://docs.nvidia.com/cuda/cuda-installation-guide-linux/"
# ref: https://docs.nvidia.com/cuda/cuda-installation-guide-linux/index.html#rhel-7-centos-7
# ref: https://docs.nvidia.com/cuda/cuda-installation-guide-linux/index.html#rhel-8-rocky-8
# ref: https://docs.nvidia.com/cuda/cuda-installation-guide-linux/index.html#rhel-9-rocky-9
# ref: https://docs.nvidia.com/cuda/cuda-installation-guide-linux/index.html#fedora
install_cuda_driver_yum() {
    status 'Installing NVIDIA repository...'
    
    case $PACKAGE_MANAGER in
        yum)
            $SUDO $PACKAGE_MANAGER -y install yum-utils
            if curl -I --silent --fail --location "https://developer.download.nvidia.com/compute/cuda/repos/$1$2/$(uname -m | sed -e 's/aarch64/sbsa/')/cuda-$1$2.repo" >/dev/null ; then
                $SUDO $PACKAGE_MANAGER-config-manager --add-repo https://developer.download.nvidia.com/compute/cuda/repos/$1$2/$(uname -m | sed -e 's/aarch64/sbsa/')/cuda-$1$2.repo
            else
                error $CUDA_REPO_ERR_MSG
            fi
            ;;
        dnf)
            if curl -I --silent --fail --location "https://developer.download.nvidia.com/compute/cuda/repos/$1$2/$(uname -m | sed -e 's/aarch64/sbsa/')/cuda-$1$2.repo" >/dev/null ; then
                $SUDO $PACKAGE_MANAGER config-manager --add-repo https://developer.download.nvidia.com/compute/cuda/repos/$1$2/$(uname -m | sed -e 's/aarch64/sbsa/')/cuda-$1$2.repo
            else
                error $CUDA_REPO_ERR_MSG
            fi
            ;;
    esac

    case $1 in
        rhel)
            status 'Installing EPEL repository...'
            # EPEL is required for third-party dependencies such as dkms and libvdpau
            $SUDO $PACKAGE_MANAGER -y install https://dl.fedoraproject.org/pub/epel/epel-release-latest-$2.noarch.rpm || true
            ;;
    esac

    status 'Installing CUDA driver...'

    if [ "$1" = 'centos' ] || [ "$1$2" = 'rhel7' ]; then
        $SUDO $PACKAGE_MANAGER -y install nvidia-driver-latest-dkms
    fi

    $SUDO $PACKAGE_MANAGER -y install cuda-drivers
}

# ref: https://docs.nvidia.com/cuda/cuda-installation-guide-linux/index.html#ubuntu
# ref: https://docs.nvidia.com/cuda/cuda-installation-guide-linux/index.html#debian
install_cuda_driver_apt() {
    status 'Installing NVIDIA repository...'
    if curl -I --silent --fail --location "https://developer.download.nvidia.com/compute/cuda/repos/$1$2/$(uname -m | sed -e 's/aarch64/sbsa/')/cuda-keyring_1.1-1_all.deb" >/dev/null ; then
        curl -fsSL -o $TEMP_DIR/cuda-keyring.deb https://developer.download.nvidia.com/compute/cuda/repos/$1$2/$(uname -m | sed -e 's/aarch64/sbsa/')/cuda-keyring_1.1-1_all.deb
    else
        error $CUDA_REPO_ERR_MSG
    fi

    case $1 in
        debian)
            status 'Enabling contrib sources...'
            $SUDO sed 's/main/contrib/' < /etc/apt/sources.list | $SUDO tee /etc/apt/sources.list.d/contrib.list > /dev/null
            if [ -f "/etc/apt/sources.list.d/debian.sources" ]; then
                $SUDO sed 's/main/contrib/' < /etc/apt/sources.list.d/debian.sources | $SUDO tee /etc/apt/sources.list.d/contrib.sources > /dev/null
            fi
            ;;
    esac

    status 'Installing CUDA driver...'
    $SUDO dpkg -i $TEMP_DIR/cuda-keyring.deb
    $SUDO apt-get update

    [ -n "$SUDO" ] && SUDO_E="$SUDO -E" || SUDO_E=
    DEBIAN_FRONTEND=noninteractive $SUDO_E apt-get -y install cuda-drivers -q
}

if [ ! -f "/etc/os-release" ]; then
    error "Unknown distribution. Skipping CUDA installation."
fi

. /etc/os-release

OS_NAME=$ID
OS_VERSION=$VERSION_ID

PACKAGE_MANAGER=
for PACKAGE_MANAGER in dnf yum apt-get; do
    if available $PACKAGE_MANAGER; then
        break
    fi
done

if [ -z "$PACKAGE_MANAGER" ]; then
    error "Unknown package manager. Skipping CUDA installation."
fi

if ! check_gpu nvidia-smi || [ -z "$(nvidia-smi | grep -o "CUDA Version: [0-9]*\.[0-9]*")" ]; then
    case $OS_NAME in
        centos|rhel) install_cuda_driver_yum 'rhel' $(echo $OS_VERSION | cut -d '.' -f 1) ;;
        rocky) install_cuda_driver_yum 'rhel' $(echo $OS_VERSION | cut -c1) ;;
        fedora) [ $OS_VERSION -lt '39' ] && install_cuda_driver_yum $OS_NAME $OS_VERSION || install_cuda_driver_yum $OS_NAME '39';;
        amzn) install_cuda_driver_yum 'fedora' '37' ;;
        debian) install_cuda_driver_apt $OS_NAME $OS_VERSION ;;
        ubuntu) install_cuda_driver_apt $OS_NAME $(echo $OS_VERSION | sed 's/\.//') ;;
        *) exit ;;
    esac
fi

if ! lsmod | grep -q nvidia || ! lsmod | grep -q nvidia_uvm; then
    KERNEL_RELEASE="$(uname -r)"
    case $OS_NAME in
        rocky) $SUDO $PACKAGE_MANAGER -y install kernel-devel kernel-headers ;;
        centos|rhel|amzn) $SUDO $PACKAGE_MANAGER -y install kernel-devel-$KERNEL_RELEASE kernel-headers-$KERNEL_RELEASE ;;
        fedora) $SUDO $PACKAGE_MANAGER -y install kernel-devel-$KERNEL_RELEASE ;;
        debian|ubuntu) $SUDO apt-get -y install linux-headers-$KERNEL_RELEASE ;;
        *) exit ;;
    esac

    NVIDIA_CUDA_VERSION=$($SUDO dkms status | awk -F: '/added/ { print $1 }')
    if [ -n "$NVIDIA_CUDA_VERSION" ]; then
        $SUDO dkms install $NVIDIA_CUDA_VERSION
    fi

    if lsmod | grep -q nouveau; then
        status 'Reboot to complete NVIDIA CUDA driver install.'
        exit 0
    fi

    $SUDO modprobe nvidia
    $SUDO modprobe nvidia_uvm
fi

# make sure the NVIDIA modules are loaded on boot with nvidia-persistenced
if available nvidia-persistenced; then
    $SUDO touch /etc/modules-load.d/nvidia.conf
    MODULES="nvidia nvidia-uvm"
    for MODULE in $MODULES; do
        if ! grep -qxF "$MODULE" /etc/modules-load.d/nvidia.conf; then
            echo "$MODULE" | $SUDO tee -a /etc/modules-load.d/nvidia.conf > /dev/null
        fi
    done
fi

status "NVIDIA GPU ready."
install_success

NPU

参考rkllm的example，如果不想转模型，有官方转好的模型（若需要密码，密码：rkllm）

    模型地址：deepseek-r1的rknn模型

下载好量化后的模型，在3588开发板上git一下rkllm的仓库： rkllm仓库地址

最后运行的命令为

./llm_demo ./deepseek-1.5b-w8a8-rk3588.rkllm 1000 1000

结果

很好 我不配。。

rk3566开发之rknn npu 部署
weixin_43802726的博客
10-06 1091
RKNN-Toolkit2 是为用户提供在 PC、Rockchip NPU 平台上进行模型转换、推理和性能评估的开发套件，用户通过该工具提供的 Python 接口可以便捷地完成各种操作。工具的全部功能简单介绍如下：模型转换: 支持 Caffe、TensorFlow、TensorFlow Lite、ONNX、DarkNet、PyTorch 等模型转为 RKNN 模型，并支持 RKNN 模型导入导出，RKNN 模型能够在 Rockchip NPU 平台上加载使用。
linux上本地化部署deepseek
canglong88的博客
02-17 205
ollama官网：https://ollama.com/想要获取ollama的linux版本，请订阅专栏，联系本人。
DeepSeek本地部署
Start的小笔记
02-06 538
deepseek本地部署，完成DeepSeek开源大模型接入与本地化部署，一文教你如何本地部署，DeepSeek本地免费部署教程，Deepseek大模型本地安装部署教程
RK3566烧入鸿蒙代码步骤
最新发布
weixin_63380794的博客
03-17 603
根据这个文档，能否得出我往Purple Pi OH-RK3566刷写鸿蒙固件是否成功？根据串口来输出的信息来显示查询，利用好deepseek等相关的AI工具，保存适量的串口输出信息，通过.txt来上传文件到AI工具进行访问。当然，这不一定能完全确认，还是需要硬件的一个支持。先按下复位键，2s后再接入电源。参考RK3568环境搭建。
rk3576上部署deepseek
m0_60805802的博客
02-17 1428
这是在rk3576上部署的deepseek，在部署过程中基本没有遇到太大的问题，使用deepseek-r1的时候中文使用体验很好，deepseek-r1-1.5b做成安卓和linux接口后可以围绕该模型开发非常多的应用形态，例如人机交互、应用提示、游戏AI、机器人等。
简单聊聊“DeepSeek”
久绊A的博客
01-28 2772
DeepSeek（深度求索）是一家由量化私募巨头幻方量化旗下的AI公司，成立于2023年5月，专注于人工智能技术研发，致力于打造高性能、低成本的AI模型。
瑞芯微RK3588板子上实地部署Deepseek-R1模型
Together_CZ的博客
02-12 3290
瑞芯微RK3588板子上实地部署Deepseek-R1模型
RK3566 使能NPU
professionalmcu的专栏
08-01 2481
rockchip_linux_defconfig为编译时TARGET_KERNEL_CONFIG指定的文件。主板启动之后cd到/rockchip_test/npu2目录执行测试脚本。然后save，再复制.config文件。3、重新编译kernel，然后烧录到主板。用的是PMIC的DC-DC2。确定VDD_NPU所用的电源。cd到kernel目录，执行。1、修改板级配置DTS文件。
RK3588 RK3568 RK3566 Linux QT Opencv NPU YoloV5 摄像头实时检测
10-20
RK3588 RK3568 RK3566 Linux QT Opencv NPU YoloV5 摄像头实时检测 系统使用debian11
基于rk3566-npu的rgbd相机目标检测模型部署，c++程序
08-04
基于rk3566-npu的rgbd相机目标检测模型部署，c++程序，利用了rk3566的npu资源进行神经网络推理rknn模型。
DeepSeek 本地部署+API调用
weixin_38710804的博客
02-20 2234
DeepSeek 本地部署，界面化展示以及API调用
RK3588开发笔记：CPU、GPU、DDR和NPU模式设置与查询
flypig has a dream！
11-05 1623
以下是关于RK3588开发板在和NPU模式设置与查询的开发笔记，希望可以帮助开发者深入了解该芯片的硬件资源配置和调试方法。提示：以下是本篇文章正文内容，下面案例可供参考以上是对RK3588中CPU、GPU、DDR和NPU的模式设置与查询方式的总结。合理设置这些模块的工作频率和模式，可以显著优化RK3588在不同场景中的性能和功耗。
RK3566上运行yolov5模型进行图像识别
杀手的博客
11-05 2012
本文记录了依靠RK官网的文档，一步步搭建环境到最终在rk3566上把yolov5 模型跑起来。最终实现的效果如下：其中yolov5s-640-640.rknn是模型文件，bus.jpg是输入给模型的图像数据输入图像：输出识别结果：其中console输出如下下面简单记录实现过程。
linux服务器上部署DeepSeek指南
jiang0615csdn的博客
02-11 3033
linux服务器上部署DeepSeek指南
Rock3C 3566开发板解决NPU无法使用的办法
m0_48979117的博客
10-20 1757
Rock 3C 3566开发板NPU无法使用解决办法
RK3566中NPU例程序使用SSD
qq_39097955的博客
12-09 4840
所需资源： Ubantu16.04（虚拟机） RK356X开发板 RKNN_SDK文件夹 RKNN_SDK文件夹获取 https://www.t-firefly.com/doc/download/106.html 也可直接访问百度云盘： https://pan.baidu.com/s/1ZVKGD0nrlTFC-jDSTAjqbg#list/path=%2F 1.在Ubantu桌面创建文件夹RK mkdir RK 拷贝文件夹RKNN_SDK\rknn-toolkit2-1.1.0b0\rknnr
Ollama下载失败？试试离线安装
热门推荐
m0_54634272的博客
08-12 1万+
ollama下载总是失败？试试离线安装
如何在 Ubuntu 下无障碍安装 Ollama：通过手动下载和修改脚本解决网络问题的完整指南
进击的码农
09-03 9496
通过手动下载必要文件并修改安装脚本，你可以有效解决由于网络问题导致的 Ollama 安装失败。这种方法特别适合在受限网络环境下工作或部署的用户。希望这篇指南能帮助你顺利安装 Ollama，并在你的开发环境中开始使用这款工具。如果你在安装过程中遇到其他问题，欢迎在评论区分享，我会尽力提供帮助。作者简介我是一名资深开发工程师，专注于物联网和人工智能技术的研究与开发，致力于推动智能物联技术的发展。标签: #Ubuntu #Ollama #安装指南 #网络问题 #手动安装 #脚本修改。
Yocto 编译提示ERROR: The following required tools (as specified by HOSTTOOLS) appear to be unavailable
BingKing88的专栏
04-25 1059
出现这个问题主要是系统下没有安装chrpath通过命令安装即可。
昇腾NPU部署deepseek
03-01
### 部署 DeepSeek 至昇腾 NPU 的方法 对于在昇腾 NPU 上部署 DeepSeek，具体操作涉及准备环境、获取模型以及执行转换和优化过程[^1]。 #### 准备开发环境 确保安装有支持昇腾处理器的驱动程序与固件版本。同时需配置好 CANN (Compute Architecture for Neural Networks)，这是华为提供的神经网络计算架构软件栈，用于加速 AI 应用程序运行于Ascend芯片之上。 #### 获取预训练模型 访问官方资源库或第三方平台下载适用于目标应用场景下的预训练DeepSeek模型文件。这些通常是以 `.ckpt` 或者其他格式保存下来的权重参数集合。 #### 转换并量化模型 利用ModelArts服务中的自动脚本工具或者MindConverter SDK来完成从原始框架到ATC(Atlas Tensor Compiler)可识别格式(.om)之间的转换工作。此过程中还可以应用INT8量化技术减少推理时延而不明显损失精度。 ```bash atc --model=deepseek.pb --framework=<source_framework> --output=deepseek_optimized --soc_version=Ascend310P3 --insert_op_conf=op_info.cfg ``` 上述命令展示了通过 ATC 工具编译 TensorFlow 格式的 `deepseek.pb` 文件为可在 Ascend 设备上高效执行的形式，并指定了特定的社会版本号和社会配置文件路径。 #### 执行推理测试 最后一步是在实际硬件环境中加载经过处理后的 OM 模型开展性能评估实验。可以借助 Python API 接口调用 AclLiteImageProc 类来进行图像前处理任务；而AclLiteDataBuffer类则负责管理输入输出数据流传输效率问题。 ```python import acllite_imageproc as iproc from acllite_model import AclLiteModel # 初始化模型实例 model = AclLiteModel(model_path="path/to/deepseek_optimized.om") # 创建图片处理器对象 processor = iproc.AclLiteImageProc() # 加载待检测样本集... for image in dataset: processed_data = processor.process(image) result = model.execute([processed_data]) # 处理解析结果... ``` 以上代码片段说明了怎样创建一个基于昇腾系列产品的高性能AI推理引擎，并实现了简单的预测流程演示。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值