- 博客(451)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 95、昇腾服务器800I A2(8卡32G)使用vllm_ascend0.14.0rc1部署Qwen3-Next-80B-A3B-Instruct/Thinking
基本思想：昇腾服务器800I A2使用vllm_ascend0.14.0rc1部署Qwen3-Next-80B-A3B-Instruct。
2026-02-12 16:41:36
134
原创 96、在RTX3060服务器上构建mmpose训练环境，同时进行rtmpose的迁移昇腾服务器
基本思想：在RTX3060服务器上构建mmpose训练环境，同时进行rtmpose的迁移昇腾服务器。二、离线安装NVIDIA Container Toolkit 链接。解压，然后在文件夹中执行命令。一、先安装docker环境。
2026-02-08 13:10:22
50
原创 93、昇腾800I A2卡进行npu切分，进行小模型和大模型推理测试
昇腾310IDuo卡支持NPU切分功能，可通过npu-smi命令设置不同切分模板（如vir01/vir02/vir04等）。测试时需指定卡ID、芯片ID和模板名称，可选参数包括虚拟组ID和虚拟NPU ID。该功能适用于小模型和大模型推理场景，通过灵活配置计算资源提升推理效率。具体操作需参考官方文档中的参数说明和正确使用方法。
2026-01-04 22:21:10
95
原创 92、使用昇腾服务器构建FRP服务器，支持算能盒子访问
摘要：本文介绍了在昇腾服务器上配置FRP服务器实现算能盒子远程访问的方法。通过下载FRP源码包(v0.65.0)并解压，配置frps.toml文件设置7000端口绑定，创建systemd服务实现开机自启。客户端需配置frpc.toml指定服务器地址、端口及代理规则（TCP类型，本地22端口映射远程6000端口）。完成配置后需在服务器和客户端同时开放7000和6000端口的防火墙规则。最终通过systemctl命令实现服务的启动、启用和状态检查，建立稳定的远程访问通道。
2025-11-10 15:47:32
382
原创 91、使用yolov11不带nms、带nms、手动添加nms进行算能npu开发板推理学习
本文摘要：该文档详细记录了在算能开发板上部署YOLOv11目标检测模型的全过程。首先介绍了开发板环境配置步骤，包括刷机、登录和基础信息获取。然后重点阐述了三种模型转换方案：不带NMS的标准模型转换、自带NMS的模型转换失败分析，以及手动添加NMS节点的成功实现方案。每种方案都提供了完整的代码实现和性能测试数据（标准模型推理时间32.67ms，手动NMS模型52.00ms）。最后还尝试了模型量化但遇到错误，展示了实际应用中的技术挑战。文档包含从模型导出、转换到实际推理的完整技术路线，对边缘计算场景下的目标检测
2025-10-26 20:33:13
236
原创 90、迁移yolov11-seg模型到昇腾800 9000上，支持全系列昇腾
本文介绍了将YOLOv11-seg模型迁移到昇腾8009000平台的过程。首先通过Python脚本将PyTorch模型转换为ONNX格式，并测试了ONNX模型在图片推理上的效果。在迁移到昇腾平台时，由于ONNX版本过高导致转换失败，通过调整代码重新转换成功。最终生成了可在昇腾910B上运行的OM模型，并提供了OM模型推理的参考代码链接。整个迁移过程涵盖了模型转换、错误排查和平台适配等关键步骤。
2025-10-18 18:29:32
217
原创 77、迁移PaddlePaddle的UVDoc 到onnx、mnn、ncnn、昇腾800 9000
摘要：本文介绍了如何将飞浆UVDoc的PP-LCNet_x1_0_doc_ori模型迁移到onnx、mnn、ncnn及昇腾8009000平台。通过ModelScope下载模型后，使用PaddleOCR的TextImageUnwarping进行文档图像校正推理测试，支持单张图片处理并输出结果至图像和JSON文件。测试代码展示了模型加载、预测及结果保存的全流程。
2025-10-07 16:27:45
293
原创 76、迁移飞浆PaddlePaddle的PP-LCNet_x1_0_doc_ori到onnx、mnn、ncnn、昇腾平台
文章摘要：本文介绍了将PaddlePaddle的PP-LCNet_x1_0_doc_ori模型迁移到onnx等平台的过程。首先通过ModelScope下载模型，使用PaddleOCR进行文档方向分类测试，成功输出180度旋转图片的识别结果（准确率89.2%）。包含模型预测、结果保存为图片和JSON文件的具体实现。后续计划进行onnx模型转换，为迁移到mnn、ncnn和昇腾平台做准备。
2025-10-07 12:37:26
375
原创 75、迁移PP-DocLayout-M模型到onnx、mnn、ncnn、昇腾服务器800 9000
本文介绍了将百度飞浆的PP-DocLayout-M文档布局分析模型迁移到不同推理框架的过程。主要内容包括：1）从ModelScope下载PaddlePaddle模型并进行初步测试；2）通过paddle2onnx工具将模型转换为ONNX格式，并分析模型转换过程中的预处理和后处理代码；3）分别使用onnxsim、pnnx和MNN工具将模型转换为ncnn和MNN框架格式，提供了完整的预处理和后处理实现代码；4）最后展示了使用昇腾ATC工具将模型转换为Ascend格式的过程。文章详细记录了模型转换的各个步骤、代码实
2025-09-30 23:28:35
315
原创 76、昇腾服务器800 9000、800IA2、300IDuo卡迁移FunASR语音模型SenseVoiceSmall
摘要： 本文介绍了如何在昇腾服务器上迁移FunASR语音识别模型，并提供了详细的代码示例。主要包括模型下载、测试推理、后处理优化及ONNX导出等步骤。通过调用ModelScope接口下载SenseVoiceSmall模型，使用pipeline进行语音识别测试，并展示了富文本转录后处理功能。最后演示了如何将模型导出为ONNX格式并使用Paraformer进行推理。整个过程涵盖了模型部署的关键环节，适用于中文语音识别场景。
2025-09-23 20:37:20
331
原创 75、封装paddle ocr v5服务支持昇腾800 900 、800I A2、300I DUO卡推理识别图片和pdf文档
本文介绍了如何封装OCR服务以支持昇腾系列芯片推理识别。以800900服务器为例，基于已有博客内容开发Dockerfile文件，包含以下关键步骤：1) 使用Ubuntu 20.04基础镜像；2) 安装Python 3.11及相关依赖；3) 配置CANN工具包和内核；4) 设置环境变量和用户权限；5) 安装PaddleOCR模型并配置启动脚本。最终通过Docker容器化部署OCR服务，支持指定模型路径和监听端口参数启动服务。
2025-09-19 16:40:23
547
原创 74、在昇腾服务器 800I A2上迁移伏羲1.0/2.0大模型，并对比cpu和npu的精度
本文记录了在昇腾800IA2服务器上迁移伏羲1.0/2.0天气预测模型的过程。由于伏羲2.0缺少公开权重，作者使用自建权重进行推理测试。详细步骤包括：1）配置Docker镜像环境；2）创建包含昇腾设备映射的容器；3）安装必要的开发工具和Python依赖；4）设置SSH远程访问；5）准备推理工具链。该方法实现了模型环境的快速部署和隔离，支持在不同宿主机上的开箱即用。
2025-09-05 02:36:52
241
原创 2、昇腾服务器800 9000服务器进行镜像构建，然后使用pycharm访问镜像内部环境进行NPU代码开发
三、使用pycharm进入容器，重新设置启动镜像服务脚本，其中xxx为docker镜像内部的端口号，可以自定义，yyy为服务器登录的端口号需要根据登录的服务器定义，我这里一开始登录服务器是 ssh root@112.6.203.2 -p 18888。基本思想：昇腾服务器80 9000服务器进行镜像构建，然后使用pycharm访问镜像内部环境进行NPU代码开发。安装固件和设置环境变量，下载服务器800 9000服务器的cann-toolkit包 昇腾社区。二、创建容器 run.sh。
2025-09-02 08:44:56
247
原创 89、通过Thingsboard平台下发MQTT指令给有人物联网M300设备DTU进行传感器数据采集上传和水下灯光控制命令下发
摘要：M300设备通过Python脚本扫描局域网设备（检测到3台在线设备），使用MQTT协议实现传感器数据上传。流程包括：1）建立网络连接；2）配置pH值传感器（9600波特率）；3）在ThingBoard平台设置匹配的服务器参数；4）通过串口管理配置MQTT通信链路。设备重启后可在ThingBoard实时监测数据变化，同时支持水下灯光控制功能。该系统实现了物联网设备的数据采集与远程监控。
2025-08-29 22:51:53
83
原创 88、有人物联网W660使用MQTT协议向thingsboard发送指令，同时使用下发指令控制防水灯
摘要：本文介绍了基于W660 DTU设备和MQTT协议的水下灯控制系统实现方案。主要包括两个关键步骤：1）在阿里云平台开放1883端口；2）通过tingboard网站开通MQTT服务并进行客户端-服务器通信测试。系统通过MQTT协议实现对水下灯开关和亮度的远程控制，为水下照明设备提供了一种可靠的物联网解决方案。
2025-08-17 22:16:56
162
原创 17、迁移适配 读光-票证检测矫正模型mnn、ncnn、atlas800 9000模型推理
文章摘要：本文介绍了如何将读光-票证检测矫正模型迁移适配到MNN和NCNN模型框架。首先通过ModelScope下载并测试了原始PyTorch模型，展示了模型输出结果（包含多边形坐标、置信度分数和矫正后的图像数据）。测试过程中遇到了一些警告信息（如字符检测依赖缺失、预处理配置缺失等），但最终成功加载模型并完成推理。文章计划后续根据配置文件进行模型转换，将PyTorch模型转换为MNN/NCNN格式。（149字）
2025-08-07 18:12:55
433
原创 83、设置有人DTU设备USR-M100采集传感器数据，然后上传阿里云服务
一、首先将DTU设备USR-M100连接路由器上，然后使用python代码搜索同一局域网设备，基本思想：设置M100 采集传感器数据。查看自动获取ip网址状态。
2025-07-23 23:06:05
288
原创 73、C++/Python PaddleOCR-v5 部署mnn框架、ncnn框架、昇腾800 9000服务器 、Atalas 300I DUO卡 、Atalas 200DK
摘要：本文介绍了PaddleOCR-v5模型在MNN、NCNN、RK3588和昇腾310P3平台上的部署方法。首先通过Python脚本完成模型转换，为后续在不同硬件平台上的部署奠定基础。该流程展现了跨平台部署的可行性，为OCR技术在不同设备上的应用提供了参考方案。
2025-07-15 13:33:25
658
原创 72、yolov11s-obb旋转目标检测部署MNN、NCCN、rk3588、昇腾310P3、昇腾800 9000服务器
文章摘要：本文介绍了将YOLOv11-OBB旋转目标检测模型部署到RK3588开发板的过程。首先需要确保电脑已配置RKNN-Toolkit2工具包，能够支持官方模型转换。通过调用Ultralytics库加载预训练的YOLO11-OBB模型，使用export方法将PyTorch模型转换为ONNX格式，最终输出为RK3588支持的RKNN模型格式。该方法为在嵌入式设备上实现高效的旋转目标检测提供了解决方案。
2025-07-12 11:20:06
448
原创 71、usearch向量化数据库配合目标检测和特征向量点使用
摘要：本文介绍了使用Python和C++实现向量相似性搜索的流程。首先通过Python脚本测试USearch库的功能，包括创建索引、添加特征向量和相似性搜索。测试使用了随机生成的128维向量，成功返回了最相似结果。随后计划用C++重写实现相同功能，但未展示具体代码。整个流程体现了从Python原型验证到C++性能优化的开发思路，适用于需要高效向量搜索的应用场景。
2025-07-05 16:21:30
257
原创 82、yolov11检测模型迁移瑞芯微rk3588和使用昇腾设备300i DUO卡推理 batch=1/3，支持昇腾NMS迁移npu推理
本文介绍了使用昇腾设备进行分割推理的测试流程，包括两种测试方式（cann+onnx和om）。首先验证300iDUO卡的可用性，随后创建Docker镜像和容器以搭建独立环境。通过从指定仓库拉取Ubuntu 20.04镜像，创建容器并映射目录。进入容器后安装必要组件（Python3、GCC等）和系统工具（pciutils、net-tools等），为后续模型转换和迁移做准备。整个流程旨在构建可交付给第三方的标准化测试环境。
2025-06-13 22:03:38
804
原创 81、使用thingsboard平台通过MQTT下发指令给有人物联网W660设备，控制DTU水下灯光
本文介绍了济南有人DTU控制水下灯光的基本操作步骤。首先需正确连接DTU设备的供电模块和RS-485接口（红线接A口，绿线接B口），确保供电正常。然后通过有人官方手册，访问后台服务http://192.168.1.1/cgi-bin/luci，在连接DTU的WiFi后使用AP模式进行灯光调试和控制。若设备供电后未工作，需检查火线和零线是否接反。
2025-06-01 21:19:52
565
原创 80、昇腾系列服务器/昇腾系列推理卡/昇腾系列嵌入式开发板+FastGPT+one api部署DeepSeek-R1-Distill-Qwen-32BW8A8+RAG本地模型知识库和负载均衡双实例
基本思想：承接上一篇博客，适配fastgpt,假设你已经配置了docker和docker-compose包，目标设备仍然是昇腾服务器，且mindie服务和分词服务也已经启动，开始构建FastGPT环境吧。先拉取arm64的镜像，进行x86镜像替换。第一步：one-api部署。
2025-03-06 21:16:16
719
1
原创 79、昇腾系列服务器/昇腾系列推理卡/昇腾系列嵌入式开发板+Dify+one api部署DeepSeek-R1-Distill-Qwen-32BW8A8+RAG本地模型知识库和负载均衡双实例
阶段，安装过程缺什么，，在docker外面git下源码，进入容器内部进行量化，这里的容器建议在创建个8卡的容器，双卡容器量化会显示npu显存不够，除非你用cpu转模型，我就懒得创建容器了，使用cpu量化吧，巨慢；创建容器，进入容器，计划使用两张昇腾NPU卡推理DeepSeek-R1-Distill-Qwen-32B的W8A8模型，所以构建的容器用两张卡，选6、7卡吧，0-6号卡可以跑文本嵌入模型、重排序模型；直接进入量化阶段，在容器外面操作即可，环境不用管，因为系统已经默认配置了环境，直接跳到。
2025-02-23 19:28:03
5482
原创 70、训练yolov11-pose+构建NMS算子迁移算力卡上关键点部署TensorRT&NCNN部署&&昇腾800 9000+AIPP加速推理
在/home/ubuntu/ultralytics/ultralytics/cfg/datasets创建fish.yaml文件。基本思想：进行yolov11-pose关键点训练，进行简单记录，纯粹为了方便年使用查找。二、下载 代码，修改配置文件和类别和数据配置文件关键点个数。文件结构，train里面是图片和转换的txt 依次类推。一、使用labelme 标注关键点进行数据集转换。
2025-01-28 20:10:46
695
原创 78、使用爱芯派2_AX630C开发板 3.2T高有效算力 低功耗 支持AI-ISP真黑光实验
五、将模型改名成yolov5s.axmodel，替换/home/ubuntu/ax620e_bsp_sdk/msp/sample/vin_ivps_engine_venc_rtsp/models里面的模型替换转换的模型，拷贝编译好的代码到开发板推理之前，先丢个模型和图片到这个文件夹×/bin，一个为了测试一下模型是否可以用，一个为了推流并进行推理测试，推流文件名可以和原来的保持一致。这个也改了一起测，改成两类，可以先用这个例子单独测试一下，在测推流代码。第一步需要连接屏幕，将wifi连接上网，进行开发。
2025-01-02 10:46:51
1060
原创 77、将adaface的mtcnn模型npy文件转成atlas310p模型，并进行推理
新建立一个export_onnx.py文件文件路径 /home/ubuntu/AdaFace/face_alignment/mtcnn_pytorch/src/export_onnx.py。一、按照readme进行测试mtcnn模型，将main.py代码添加到/home/ubuntu/AdaFace/face_alignment/mtcnn_pytorch/目录下。可以看出非常接近，优化一下代码，完全独立官方的逻辑代码，使用但文件推理，方便在atlas设备上推理。
2024-12-26 16:36:11
361
原创 74、docker镜像制作上传/下载到阿里云
基本思想：简单学习一下如何制作镜像和上传下载到私有阿里云，然后构建一个gpu的训练/推理环境，以备后续使用。
2024-12-05 21:34:16
764
原创 16、斑马设备的ppocer-4支持文字旋转识别和opencv-mobile中文显示mnn/ncnn双版本
基本思想：手上有个斑马设备，是客户的，简单记录一下开发过程和工程项目，同时记录跟着android小哥学习了很多anroid的知识，转ppocr-4参考之前的ppocr-3转换即可，整个框架仍然使用c++ ncnn jni框架推理和现实，图像库使用opencv-mobile。一、首先转paddle-cor-4 到ncnn的框架上，进行推理，这里使用ncnn+mingw+paddle-ocr进行推理，转换模型参考paddle-ocr3即可。二、android的工程项目。
2024-09-23 21:23:28
488
原创 73、结合无人机进行rk3588oak-lite跟踪目标物体进行识别、跟踪
搭建仿真转换模型环境，主要python版本和我下载的rknn2的版本。截取shape节点，输出模型。so库也要对应转模型的whl。其中安装的whl版本。
2024-09-17 17:59:57
1427
原创 71、哪吒开发板试用&结合oak深度相机进行评测
一、 我们先刷个刷成linux系统，测试比较方便，虽然window+python代码也可以开发，但是这不是为了获奖吗，搞点难度的ubuntu+c++推理，同时还为了测试灰仔的ncnn吗，勉为其难，把正版window 系统刷掉吧，哈哈哈。基本思想：收到intel的开发板-小挪吒，正好手中也有oak相机，反正都是openvino一套玩意，进行评测一下，竟然默认是个window系统，哈哈。首先在自己的宿主机器上ubuntu20.04配置环境，转一下oak所需要的模型，设备的系统openvino版本太高。
2024-09-15 17:15:36
422
原创 69、ncnn学习onnx2ncnn不支持带三维算子相乘gemm/repeat转换方法学习
测试结果，因为设置的随机生成数，只要torch onnx ncnn对应上即可。基本思想：学习不支持带channel维度的Mat相乘。二、repeat不支持onnx2ncnn使用。转一下onnx2ncnn。然后修改param结构。转换onnx显示不支持。参看ncnn的算子支持。其中的param结果。转的错误的param。
2024-07-19 15:27:00
1731
原创 68、ncnn学习onnx2ncnn不支持五维算子squeeze/gather转换方法学习
有了上一篇博客的学习，ncnn的squeeze不支持4d操作， 将squeeze 改为reshape 我们看一下ncnn的operator 的reshape。修改的param,修改了reshape维度、crop维度提取步长、以及添加reshape对齐了onnx 输入。基本思想：继续构建小模型，学习ncnn的onnx2ncnn的不支持算子学习。转ncnn没有错误，但是推理结果是不正确的，请see。一、四、五维度转换squeeze不支持。查看一下param的内部结构。进行onnx进行简化。
2024-07-12 17:56:07
452
原创 67、ncnn学习onnx2ncnn不支持五维算子reshape/transpose转换方法学习
一点点剖析ncnn的不支持，这里先不考虑batch>1的情况 输入维度是 1x3x6x6 使用reshape转成1x6x2x3x3 对应ncnn的内存布局是cdhw 所以修改param结果为。一、例子一，先造个五维度的reshape转换，ncnn的onnx2ncnn不支持转换，参考ppocr_4算子。基本思想：学习ncnn转模型集锦，仅在onnx2ncnn使用， 先不谈pnnx。执行生成pt使用onnx转一下，我用mingw+window转一下。测试结果，ncnn不支持五维度输出，直接崩溃。
2024-07-11 10:47:20
620
原创 72、记录一下jetson nano 部署CSI摄像头+关键点识别代码
基本思想：使用csi摄像头进行画面取帧，使用v7进行目标检测，使用rtmpose进行关键点检测。刷机手册参考官网、搜素ip方法。三、测试csi摄像头。
2024-06-08 18:56:22
832
原创 84、评测OrangePi AIpro开发板和USB CAMERA&OAK视频解码+推理+编码+推流测试
第一步：系统刷机，参考官方吧，懒得刷机了，参考官方手册即可链接：https://pan.baidu.com/s/1umXM3ir-5adfjC3ZyjjJ4A?三、先测试一下环境，是否可用，ide使用clion，需要添加环境变量在clion中，测试我上一篇对应博客和模型，模型我共享在百度云盘了。二、因为我习惯了华为官方的aclite库，我发现官方给我刷的系统没有，那我自己编译一下吧。连接账号 root 密码：Mind@123。然后就参考我这篇博客修改和编译即可。使用python搜索同一网段的ip。
2024-05-26 23:13:04
817
原创 70、测试CPE+POE+OAK设备
二、然后测试python的oak代码,c++我就不测试了，这里附录一个python搜索本地ip的地址，可以用于c++ 的oak设置开发。一、首先购买双CPE设备，简称网桥，进行设置，设置方式采用网线直连的方式进行ip设置，保证其主网桥和子网桥位于局域网属于同一网段内。基本思想：需要部署测试CPE+POE+OAK设备，仅此而已。三、测试python的oak代码。
2024-05-17 21:55:11
438
原创 69、oak和华为atlas 200dk A2进行编解码测试
基本思想：将oak深度相机与atlas 200dk A2进行结合，测试其dvpp的编解码能力。
2024-05-06 19:49:18
749
2017最全的vivado license
2017-03-19
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人