- 博客(4)
- 收藏
- 关注
原创 基于双卡昇腾300i Duo、vllm-ascend部署qwen3
本文介绍了在昇腾NPU上部署vLLM模型服务的完整流程。首先通过npu-smi命令检查硬件状态,然后按照官方文档拉取并运行vLLM-Ascend容器镜像(v0.18.0rc1-310p-openeuler)。详细说明了容器启动命令配置,包括设备映射、端口转发和环境变量设置。重点描述了模型推理的启动参数配置,包括显存利用率、并行处理参数等,并提示需要将模型配置文件中的bfloat16改为float16。最后提到可能遇到的算子编译错误问题,给出了解决方案和测试命令。整个过程涉及Docker容器管理、昇腾NPU驱
2026-04-24 17:32:12
273
1
原创 基于麒麟V11、昇腾300i Duo安装torch、torch_npu
本文介绍了在ARM架构(aarch64)系统上安装PyTorch和torch_npu插件的完整流程。首先通过清华镜像源下载并安装Anaconda,创建Python 3.10环境。然后逐步安装PyTorch 2.6.0和torch_npu 7.3.0,详细说明了可能遇到的问题及解决方法,如缺少yaml包、gcc环境等。最后提供了升级和配置pip源的方法,并指引用户参考官方文档进行模型训练。整个过程涵盖了从基础环境搭建到深度学习框架配置的完整步骤。
2026-04-20 11:15:25
440
原创 基于麒麟V11、昇腾300i Duo和MindIE部署Qwen3
本文详细介绍了在麒麟V11(arm架构)服务器上部署昇腾300i Duo AI加速器的完整流程。主要内容包括:1)硬件环境确认(npu-smi信息);2)驱动、固件与CANN 8.5.0的安装配置(含依赖项处理);3)Docker环境部署;4)MindIE 2.3.0框架安装及参数调整(需修改torch-dtype为float16);5)OpenWebUI的容器化部署与测试。特别强调了版本匹配问题,包括驱动/CANN/MindIE的对应关系,以及安装过程中的路径校验和依赖处理。最终通过Docker容器实现了
2026-04-16 17:43:24
616
原创 【基于Java少年儿童活动中心选课系统的设计与实现】
基于Java少年儿童活动中心选课系统的设计与实现Design and implementation of course selection system based on Java children's activity center摘 要随着信息技术的不断进步,少年儿童活动中心作为教育的重要组成部分,需引入现代化管理手段以提升其服务水平和管理效率。本文设计的基于Java的少年儿童活动中心选课系统,旨在通过信息化手段优化课程管理流程,提高教学质量,并增强家长、教师与学员之间的互动。系统采用Java语言开发
2024-06-14 21:44:33
536
基于Java少年儿童活动中心选课系统的设计与实现.docx
2024-06-17
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人
RSS订阅