- 博客(247)
- 收藏
- 关注
RSS订阅
原创 海思SD3403,SS928/926,hi3519dv500,hi3516dv500移植yolov7,yolov8（9）
上一节yolov8的训练已经完成了，现在要开始做模型的转换了，这里和yolov7方式相似，但是有一些差异，尤其是yolov7的不带NMS部分的输出顺序和yolov8的输出顺序与格式是有差异的。尾部链接了 我们自定义的DecBBox，Filter，Sort还有NMS。这里面filter和NMS的过滤条件不用管，在推理代码里还要重新配置一下，用这个默认配置就可以。我们一个一个看，首先filter.py里 要先增加个Filter的自定义层。这个部分和yolov7方式是完全一样的。下面是和yolov7的对比。
2024-01-16 09:10:45
2080
10
原创 海思SD3403,SS928/926,hi3519dv500,hi3516dv500移植yolov7,yolov8（8）
目前为止yolov7算法在海思hi3519dv500.3516dv500下的移植已经说完了，后面开始讲 yolov8的移植。过程基本上是一样的，只是在训练和转换过程中会和yolov7有区别。本章先说一下训练的部分。
2024-01-10 15:34:41
3225
5
原创 海思SD3403,SS928/926,hi3519dv500,hi3516dv500移植yolov7,yolov8（6）
上一篇，我们讲到onnx模型的导出。模型导出之后要转换成om模型。这一篇主要就是来讲如何正确的导出Om模型。这个导出方式和以前Ruyistudio导出模型方式特别类似。只是不在windows平台里，在linux里。相关Python安装和库安装之前已经讲过了，这里就不重复了。
2023-12-28 15:50:00
1832
3
原创 Tofu5m目标识别跟踪模块 跟踪模块
支持全自动跟踪、即点即跟踪、动目标检测跟踪、手动框选跟踪、波门跟踪等多种模式跟踪，并提供跟踪过程中的闭环云台与吊舱运动控制与自适应变倍功能。支持热红外视频、可见光视频、微光视频下的人、车、船等物体的深度学习识别，其他类型物体识别算法可定制，提供完整解决方案服务。自动跟踪模式下避免传统的框选的麻烦与波门跟踪中无法自适应目标大小的问题，精确识别到目标类型后自动筛选目标进行跟踪。在画面中存在多个识别到目标时可另外选择即点即跟踪模式，在画面上点击要跟踪的目标，模块会锁定该目标进行跟踪。
2023-12-25 13:08:07
1486
原创 海思SD3403,SS928/926,hi3519dv500,hi3516dv500移植yolov7,yolov8（5）
上一篇已经把Onnx模型导出来了，在Netron看到层都对了之后就要去转换om模型了。首先，强烈建议不要和训练的linux搞一起，很多库不一定一样。如果很熟练能来回切换Python版本和库的牛人另当别论。几个依赖库版本这里列一下，方便参考。我用的是Ubuntu18.04。都按下面指令安装就可以。然后就是python的安装，这个就比较简单了。我装的是python3.7，也可以装高版本，这个应该没什么影响。python是先从官网下载的对应版本包后手动安装的。
2023-12-20 18:03:33
2601
6
原创 海思SD3403,SS928/926,hi3519dv500,hi3516dv500移植yolov7,yolov8（4）
如果想要在电脑做GPU推理或者在Nvidia板卡里运行，建议是加上EfficientNMS，Nvidia本身支持这个层转TensorRT，包括在训练环境里做onnx模型的推理，其实也最好是加上。这里转换完之后都是默认带EfficientNMS层，用Netron看大概率会是两种可能情况，一种是不带EfficientNMS，一种是不带NMS，像下面这种。这里NMS和Filter有IOU阈值，筛选的，这个部分不用在源码里修改，后面可以在海思代码里直接更改。原始模型导出的方式也给了一个源码，在export.py。
2023-12-20 16:49:54
2085
6
原创 海思SD3403,SS928/926,hi3519dv500,hi3516dv500移植yolov7,yolov8（3）
经过调试后中终于在hi3519dv500和hi3516dv500两个平台中都实现的算法验证。同时可以做自己定制的算法模型的移植了，下面是两个移植案例效果。识别运行时间上做了对比和统计，具体的可以看下面的表格。总体来说速度还是比较快的，Yolo系列算法实时运行是几乎没有任何问题。训练到量化过程已经全部验证完，期待在项目中使用。涉及到技术细节的部分因为商业用途，有部分省略。如需相关技术服务项目合作可私信联系。
2023-12-19 16:02:21
2010
5
原创 海思SD3403,SS928/926,hi3519dv500,hi3516dv500移植yolov7,yolov8（2）
本篇是在海思嵌入式芯片中移植yolov7和yolov8的第二篇。做一个调试的小总结。目前手上有SS928还有Hi3516dv500两个板子，3519DV500板子还没开始调。Hi3519dv500和3516是同一套SDK，基本上是一样的，算力稍高一点，ARM主频高一点。我们主要对yolov7和yolov8进行了从训练到量化，部署的工作。训练之前要改一下训练源码，不然训练完也跑不起来。量化过程是先转Onnx模型，然后Onnx再用MindStudio转om模型。
2023-11-29 14:41:31
2223
9
原创 海思SD3403,SS928/926,hi3519dv500,hi3516dv500移植yolov7,yolov8（1）
海思SS928，SS926以及Hi3519dv500,hi3516dv500下的yolov7模型部署推理系列
2023-09-26 11:08:06
2819
3
原创 如何使用Tofu进行光电产品目标识别跟踪功能升级
Tofu产品系列是利卓公司推出的目标识别跟踪应用的光电产品与AI升级用系列产品。今天介绍的是其中一个专门为光电产品升级自主目标识别跟踪应用的Tofu3产品。Tofu3可以快速集成到光电云台相机中，提供从目标识别到跟踪的完整解决方案。Tofu3目前支持热红外、可见光视频的输入，直接控制变焦镜头与云台，在目标识别后自主进行光机电联动，达到全过程跟踪的效果。典型的云台相机中连接关系如图。 输入方式上，热红外输入抛弃了传统的模拟视频输入方式，采用BT.656数字视...
2021-08-13 09:21:10
790
4
原创 热红外目标识别与跟踪
凡是温度比绝对零度高的物体均对外有热红外辐射，不管晚上还是白天都可以在没有自然光补光的情况下对物体进行观测。另一方面，热红外波段下的辐射强度同时也反映者物体的发热程度。因此，热红外成像在夜视观测与测温领域中发挥着重要作用。在疫情期间，热红外测温特性也被很好地利用，用于人体温度测量中。 本文章中主要介绍热红外目标识别与跟踪相关的内容。 热红外目前主流的分辨率有384×288与640×512两种分辨率，不同于可见光高清、4K等大分辨率，热红外因成本与工艺问题，还停留在低分辨率阶段。我们通常...
2021-03-15 20:40:31
5071
原创 如何在海思 Hi3519AV100上移植YOLOV3 （3)
隔了好久来填坑，这次写一下怎么在板卡中部署模型。打个小广告： 海思hi3519av100开发板链接：https://item.taobao.com/item.htm?spm=a230r.1.14.117.4afe75a61WreAX&id=586610485052&ns=1&abbucket=1#detail 除了SDK与底板图纸之...
2019-09-16 17:20:06
5350
11
原创 如何在海思 Hi3519AV100上移植YOLOV3 （2）
接着写未写完的部分，一直业务太忙，延期了两周才写这一篇。 本篇主要写一下模型量化后的仿真部分。海思在RS工具里提供了simulation方式对量化后的模型进行功能仿真（func sim）和指令仿真（inst sim），在板卡上跑之前就可以做模型的仿真，提前看到效果。主要目的认为是两个：1）模型识别功能的验证；2）模型识别阈值的调整。 打个小广告： 海思hi35...
2019-07-08 18:24:52
3867
9
原创 如何在海思 Hi3519AV100上移植YOLOV3 （1）
HI3519AV100包含了深度学习的NNIE内核，算力为2TOPS，是目前同等算力下性价比最好的平台之一。公司产品已经可以实时运行YOLO V3，写这个系列的原因在于帮助我们开放平台下的开发者用户及公司新入职员工的使用培训，可以更快速的使用开发板进行模型的部署。 打个小广告： 海思hi3519av100开发板链接：https://item.taobao.c...
2019-06-19 12:10:27
11949
20
原创 利卓创新- 超小型深度学习平台
Littro MicroBox超小型端上深度学习识别模组 概述 简介 Littro MicroBox支持端上人工智能识别，同时可推送识别后的视频流，并实时显示结果，MicroBox支持多种物体在线式识别算法，包括行人、车辆以及特殊指定物体类型，支持红外、可见光多个波段的多种分辨率与帧频的视频输入、接口上满足多类型输入以满足不同用户的需求。产品中同时支持视频编解码、视频压...
2019-01-12 18:39:13
4590
原创 TVMS综合视频管理平台—多通道AI监控的技术实现解析
本文介绍了TVMS综合视频管理平台的技术架构与功能特性。该平台采用模块化设计，支持64通道视频显示、七种AI算法模式、全景拼接与电子地图联动等功能。通过CUDA硬件加速实现多通道流畅播放，提供自动搜索、手动添加和批量导入三种设备管理方式，并支持五种数据存储模式。平台具有跨平台兼容性，适用于Windows、Linux及国产化系统。TVMS平台通过集中管理、智能分析和自动化处理，有效解决了多AI边缘设备组网场景下的运维管理难题，显著提升了监控系统的整体效率。
2026-04-08 14:40:41
563
原创 AI云台相机系统——从模块到整机的集成架构解析
AI云台相机集成技术分析 本文以Tofu系列为例，系统分析了AI云台相机的关键技术架构。设备按探测距离分为N/M/L三大系列，采用双光融合技术实现可见光与热红外互补检测，支持40fps并行处理。全景拼接技术通过自动扫描和图像合成实现大范围监控，并具备点击联动功能。自动变焦系统可根据目标像素自动调整焦距，配合数字变倍增强观测能力。典型应用包括边境巡逻、无人机反制和海事监控，选型需综合考虑探测距离、目标类型和环境要求。模块化设计、标准化接口和软件兼容性是降低集成难度的关键。
2026-04-08 14:38:40
856
原创 T-JSON跨平台网络通信协议——边缘认知设备的二次开发实战指南
在国防安全、边境巡逻、无人机反制等场景中，AI边缘认知设备需要与上位机软件、云台控制端进行实时通信。这类通信面临多重挑战：不同操作系统间的兼容性、视频流与控制指令的并行传输、二进制图像数据与JSON文本的混合帧解析、以及网络不稳定时的连接管理。本文以Tofu系列设备的T-JSON通信协议为案例，从协议架构、数据帧格式、JSON指令设计、图像抓拍机制等维度进行技术分析，帮助开发者理解边缘AI设备的通信架构设计思路，为二次开发提供参考。视频流通过独立的554端口传输，实现控制面数据与视频流的分离。
2026-04-03 09:45:41
451
原创 边缘AI目标检测与跟踪——模块化技术架构对比分析
因此，设计一套“粗簪化”的AI模块产品线，覆盖从入门型到旗舰型的不同算力等级，同时保持统一的接口标准和通信协议，是一种常见且合理的工程策略。本文以Tofu系列AI识别跟踪模块为例，从算力、接口、算法、功耗等维度进行技术对比，探讨边缘AI模块的选型思路。然而，不同场景对算力、功耗、体积、接口的需求差异巨大——一台固定安装的安防相机和一架无人机吊舱，对AI处理单元的要求完全不同。全系列标配人、车、船、无人机的识别能力。入门型、高性能型、旗舰型还额外支持飞机、直升机、鸟类的识别。
2026-04-03 09:44:16
446
原创 AI光电识别跟踪技术架构解析与实践——边缘AI模块、算法体系、通信协议与应用场景全解析
为解决各类传感器、相机、云台之间的接口兼容问题，通常需要一系列接口转换模块，包括串口服务器（TCP/UDP/HTTP/MQTT）、视频转换板（BT.1120等）、CameraLink输入模块、网络交换板、无线组网模块等。边缘AI光电设备的目标识别通常需要覆盖人、车、船、无人机等多种目标类型，部分高端产品还支持飞机、直升机、鸟类的识别。在国防安全、边境巡逻、海事监控、无人机反制、智慧交通等场景中，对“人、车、船、无人机”等多类型目标的实时识别与高精度跟踪已成为关键需求。
2026-04-02 09:22:19
683
原创 TVMSTofu Video Management System综合视频管理平台
作为Tofu AI识别跟踪产品的官方客户端软件，TVMS将视频监控、AI算法控制、云台操控、全景拼接、电子地图、数据存储与回放等功能融为一体，为用户提供了一站式的设备管理与操控体验。默认支持1、2、4、6、8、9、13、16分屏显示，可通过系统设置开启25、36、64分屏模式。如何将设备的强大能力充分发挥出来，让操作人员能够便捷地管理设备、监控视频、配置算法参数、查看目标统计数据，是一个同样重要的课题。无论是单台设备的日常管理，还是多设备的集群监控，TVMS都能提供专业、高效的解决方案。
2026-04-02 09:06:04
479
原创 AI 云台相机如何实现 3 公里远距离目标跟踪？从检测到跟踪的技术全解析
目标检测：从 R-CNN 到 YOLO，从精度优先到速度优先的演进目标跟踪：从 KCF 到 Siamese 再到 Transformer，从手工特征到深度学习的转变云台控制：从 Pelco-D 到 ExPelco-D，从低精度到高精度的升级双光融合：结合可见光和热红外，实现全天候监控。
2026-03-27 08:56:37
693
原创 TVMS 与 MS2 云台无人机搜索跟踪系统技术方案
这使得操作员在追踪高速移动的无人机时，即使目标暂时脱离视场，也能迅速通过全局视野找回。在软件层对操作员的控制或自动跟踪指令进行曲线平滑处理，避免云台频繁出现剧烈启停，保证跟踪画面的丝滑感。的红外视频流，利用红外对热源（无人机电机、电池产生热量）的敏感性，在全黑或雾霾环境下快速提取疑似点。的快速对焦算法，确保在变焦过程中目标始终清晰，防止因模糊导致跟踪丢失。支持一键联动，点击红外画面的某点，可见光自动对准并缩放。在无人机接近或远离相机时，目标在画面中的比例会发生变化。实时计算目标在画面中的像素占比。
2026-03-27 08:52:15
514
原创 双光合璧，寸步难行：Tofu MS2 无人机识别跟踪技术全解析
Tofu MS2 的设计初衷便是解决远距离、小目标的探测难题。热红外解决了“看得见”的问题，而可见光解决了“看得清”的问题。两者结合高精度的云台控制，使得 MS2 成为边境巡防、重要基础设施保护以及反无人机系统（C-UAS）中不可或缺的光电核心。
2026-03-26 15:18:23
302
原创 Tofu MS2 双光云台在无人机识别与跟踪中的深度应用
Tofu MS2 不仅仅是一款工业级云台相机，它更是一个专业的低空感知终端。通过将远距离热成像与超长焦可见光完美结合，它为无人机识别与跟踪提供了从“发现”到“确认”再到“锁定”的全流程支持。
2026-03-26 15:15:36
491
原创 TVMS视频管理平台 —— 多种目标跟踪模式
点击设备画面激活后，AI 模式中选择“波门跟踪”，点击“启动”，选择合适的波门大小(固定跟踪框水平与垂直方向像素数量)，点击画面位置即可跟踪。2) 在该设备视频区域，目标所在位置的左上角按下鼠标左键，并拖动光标，选择目标后松开鼠标左键，即可锁定区域启动跟踪。将 AI 模式切换为“自动跟踪”，并单击“启动”按钮，该设备的视频界面中目标将伴有跟踪信息框出现。1) 在“设备控制”界面中，将 AI 模式切换为“动目标跟踪”，并单击“启动”按钮。选中设备，单击“参数设置”按钮，弹出参数设置界面，显示目标跟踪参数。
2026-02-05 13:34:27
766
1
原创 低小慢无人机目标识别跟踪
MS2 光电无人机识别跟踪系统在（极微弱、极小型、远距离、低信噪比目标，如微型无人机、FPV竞速机、低RCS小型多旋翼、低热对比度目标等）的探测、识别与稳定跟踪能力上，展现出行业领先水平，是目前被动光电类设备中针对此类“难目标”表现最突出的产品之一。
2026-01-21 13:09:57
1306
原创 MS2无人机飞机鸟识别跟踪云台相机
一旦识别目标，即可实现全自动捕获、相机变焦追踪，高精度持续跟踪，结合高倍变焦与快速响应直驱电机驱动稳定锁定目标，提供目标的鹰眼捕获图像数据，可提供清晰的视频证据。这在动态、快速移动的小型无人机对抗中，几乎是光学设备中最强的一环。结合大倍率光学变焦 + 高清成像，在几公里外仍能提供可用于司法/指挥决策的清晰图像/视频证据，这是很多雷达或声学设备完全无法提供的“看得见、认得清”的最终确认手段，在重要设施安防、机场、监狱等场景中不可替代。这点在实际低空安防场景中是决定性优势，误报率远低于传统方案。
2026-01-21 13:08:19
1116
原创 低空安全新利器：MS2 光电无人机识别跟踪系统深度解析
面对日益复杂的低空安全形势，选择一款性能卓越、智能化程度高的光电设备至关重要。MS2 正以其专业、稳定与高效的表现，为用户提供可靠的无人机识别与跟踪保障。如果您正计划升级或新建反无人机系统，MS2 绝对值得优先考虑。更多技术参数、案例视频与定制方案，请访问官方页面：欢迎随时联系，我们将为您提供专业咨询与演示支持，让低空安防更简单、更可靠！
2026-01-16 17:15:44
978
原创 无人机识别与跟踪技术：光电探测方式的精准守护
当前主流的无人机探测技术包括雷达、射频、声学和光电等多种方式。其中，光电（Electro-Optical）探测主要依赖可见光摄像机、红外热成像和激光测距等传感器，通过图像捕捉和智能分析实现无人机的发现、识别与跟踪。在低空安全日益重要的今天，光电探测方式以其精准、直观和可靠的优势，正成为反无人机体系中不可或缺的一环。如果您正在寻求高效的无人机识别与跟踪解决方案，欢迎了解并体验 MS2 设备——它将为您的安防体系提供强有力的光电守护。感兴趣的话，欢迎直接访问获取最新信息或联系咨询！
2026-01-16 17:13:16
1281
原创 双光无人机鸟识别跟踪云台相机——鹰眼功能
可对跟踪目标进行放大展示。在窗口中点击 鹰眼图标激活。关闭此功能时直接关闭显示窗口或再次点击鹰眼图标。鹰眼显示画面可拖动和拉伸。
2026-01-08 16:01:09
264
原创 双光无人机搜跟云台相机
支持全自动跟踪、即点即跟踪、动目标检测跟踪、手动框选跟踪、波门跟踪等多种模式跟踪，并提供跟踪过程中的闭环云台与吊舱运动控制与自适应变倍功能。支持热红外视频、可见光视频、微光视频下的人、车、船等物体的深度学习识别，其他类型物体识别算法可定制，提供完整解决方案服务。自动跟踪模式下避免传统的框选的麻烦与波门跟踪中无法自适应目标大小的问题，精确识别到目标类型后自动筛选目标进行跟踪。支持目标识别、动目标检测、多种模式跟踪算法、区域动态更新、自适应激光补光等功能。
2026-01-08 15:59:04
614
原创 hi3516cv610芯片yolov8算法移植（1）开篇
海思2024年又推出了一款超便宜的芯片平台hi3516cv610，价格直接控制到百元以内，集成度高。目前已经成功移植运行了yolov8算法，后面也会陆续更新。相关问题也欢迎私信或者留言交流。之前hi3516dv500/hi3519dv500芯片下好多朋友应该都已经移植成功算法了。后面如果不是特别忙的话坚持计划每周一篇速度来更新。
2025-02-25 11:22:14
1921
SD3403运行caffe模型样例
2023-06-02
Python数据增强源码
2022-12-19
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人