- 博客(60)
- 资源 (3)
- 收藏
- 关注
RSS订阅原创 华为昇腾AI服务器部署Triton Inference Server，运行yolov8s目标检测服务化推理
本文详细介绍了在华为昇腾800IA2硬件环境上部署Triton Inference Server的完整流程。通过目标检测小模型的实践案例，验证了部署方案的可行性，实现了服务化推理功能。主要内容包括：昇腾CANN软件栈与Triton Server的兼容性配置、针对昇腾硬件的模型转换（使用ATC工具将ONNX模型转换为OM格式）、基于Triton的推理服务部署（含模型配置、Python推理脚本编写和服务启动）。实验结果表明，该方案能成功在昇腾AI加速卡上运行推理服务。
2025-10-30 00:52:38
1708
原创 华为昇腾Atlas800IA2安装GPUStack（国产化生态舔砖加瓦）
自GPUStack更新到了V0.6版本后，已经开始支持昇腾硬件了，为国内的硬件生态做了适配，本文介绍如何在昇腾Atlas800IA2使用GPUStack，并部署大模型。
2025-04-28 14:30:42
3001
原创 昇腾910A LoRA微调QwQ-32B模型
记录下基于Ascend 910 对 QwQ - 32B 模型进行LoRA微调，此次微调使用了一台裸金属服务器，服务器配置为 8 卡910A，每卡显存为 32GB。在微调使用的是 llama - factory 套件。
2025-04-22 12:50:06
2443
6
原创 DeepSeek R1 && Ascend全国产化大模型推理本地化部署教程它来了
DeepSeek-R1在昇腾Atlas300IPro使用mindie推理套件本地化部署大模型推理。全栈国产化技术体系
2025-02-05 21:42:03
9483
20
原创 华为昇腾服务器+Atlas300IPro*2 部署Dify+MindIE+Embedding+Rerank实现Qwen2.5-7B全国产化的大模型推理平台
华为昇腾服务器+Atlas300IPro*2 部署Dify+MindIE+Embedding+Rerank实现Qwen2.5-7B全国产化的大模型推理平台。
2024-09-20 17:21:32
15801
43
原创 昇腾服务器（Atlas800系列）部署embedding和rerank模型
昇腾推理服务器部署embedding和rerank相关的RAG模型
2024-09-14 12:05:21
8804
19
原创 stable-diffusion-webui出现NansException: A tensor with all NaNs was produced in Unet
sd-webui运行出现，NansException: A tensor with all NaNs was produced in Unet问题解决方法
2024-05-21 23:03:02
6834
5
原创 Ascend910A Lora微调Qwen1.5 7B 报错Cast failed, original value: 0.0883883, type: FP32Imm 解决方法
910a微调Qwen1.5 报错Cast failed, original value: 0.0883883, type: FP32Imm解决方式
2024-05-11 11:35:56
733
原创 安装秋葉aaaki大佬的Stable-Diffusion-WebUI（一）
stable diffusion webui在windows上安装部署
2024-02-28 14:09:54
3888
原创 MindSpore 设置昇腾Ascend 910显存的默认大小，单卡可执行多任务处理
MindSpore配置NPU卡默认占用30GB的显存大小，可使用NPU卡进行多任务的运行。
2023-12-12 10:41:08
6032
1
原创 Ubuntu20.04降低linux版本到5.4.0-26-generic
Ubuntu20.04降低linux版本到5.4.0-26-generic，】部署Ascend910的驱动和CANN等开发环境
2023-12-11 23:15:52
5867
9
原创 CANN安装失败，提示./toolkit/scripts/install.sh没有那个文件或目录
CANN安装失败，提示toolkit/scripts/install.sh 没有那个文件和目录。
2023-11-18 14:28:01
1413
3
原创 aarch64服务器编译opencv==3.4.2及python包，测试sift,surf算
OpenCV是一种开源的计算机视觉库，提供了各种功能和算法，方便我们在图像处理和计算机视觉任务中使用,为了能够使用SIFT（尺度不变特征变换）和SURF（加速稳健特征）算法,记录一篇编译OpenCV3.4.2的内容
2023-11-18 09:12:48
711
原创 baichuan2的13B Lora微调
全量模型下载地址：https://ascend-repo-modelzoo.obs.cn-east-2.myhuaweicloud.com/MindFormers/baichuan2/Baichuan2_13B_Base.ckpt。数据集：https://github.com/baichuan-inc/Baichuan2/blob/main/fine-tune/data/belle_chat_ramdon_10k.json。说明：底层驱动和固件需的版本需要大于等于C84的版本。3、权重文件下载和准备。
2023-11-12 19:47:41
1755
3
原创 人工智能计算中心（AICC）OBS对象存储使用指南
人工智能计算中心（以下简称AICC），提供有AI开发环境、AI训练算力服务以及数据存储服务功能（以下简称OBS）。AI开发环境与数据存储是相互隔离的（开发环境的数据除外），其中数据存储统一存放在OBS桶里面中，以下将讲解如何使用OBS桶进行数据存储以及开发环境中如何与OBS桶进行数据交换。
2023-09-11 22:30:05
1140
转载 jupyter notebook：使用argparse包存在的问题及解决
notebook报错，__main__.py: error: unrecognized arguments: -f /home/ma-user/.local/share/jupyter/runtime/kernel-b6ff3d47-1674-4b19-8b92-98e00c05403c.json
2023-09-08 09:55:57
632
原创 博晶RMS76x8A板子自带4G转热点网络共享配置
如还WiFi还是无法上网，通过串口进入命令终端执行命令：ping www.baidu.com，如果ping通说明4G网络没问题，如果ping不通，请检查卡是否ok。如还是无法解决，请重启后再连接热点试试。点击应用，带配置完成后用手机连接GL_WIFI测试。Ping不超时，说明网络没有问题。
2023-09-02 13:12:12
359
原创 gcc is unable to create an executable file -- 执行./configure 报错解决办法
编译metartc的ffmpeg出错问题记录
2022-06-06 18:06:40
8261
TritonServer Ascend集成环境下载链接
2025-10-31
NFS文件服务器的搭建和操作
2022-07-01
torch-npu-1.11.0.post2-cp39-cp39-linux-aarch64.whl
2023-09-14
apex-0.1-ascend-cp39-cp39-linux-aarch64.whl
2023-09-14
金手指铜片的质检分类数据集
2023-09-11
博晶RMS7688A iot开发板固件
2023-09-02
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人