- 博客(236)
- 收藏
- 关注
RSS订阅
原创 海思SD3403,SS928/926,hi3519dv500,hi3516dv500移植yolov7,yolov8（9）
上一节yolov8的训练已经完成了，现在要开始做模型的转换了，这里和yolov7方式相似，但是有一些差异，尤其是yolov7的不带NMS部分的输出顺序和yolov8的输出顺序与格式是有差异的。尾部链接了 我们自定义的DecBBox，Filter，Sort还有NMS。这里面filter和NMS的过滤条件不用管，在推理代码里还要重新配置一下，用这个默认配置就可以。我们一个一个看，首先filter.py里 要先增加个Filter的自定义层。这个部分和yolov7方式是完全一样的。下面是和yolov7的对比。
2024-01-16 09:10:45
1993
10
原创 海思SD3403,SS928/926,hi3519dv500,hi3516dv500移植yolov7,yolov8（8）
目前为止yolov7算法在海思hi3519dv500.3516dv500下的移植已经说完了，后面开始讲 yolov8的移植。过程基本上是一样的，只是在训练和转换过程中会和yolov7有区别。本章先说一下训练的部分。
2024-01-10 15:34:41
3088
5
原创 海思SD3403,SS928/926,hi3519dv500,hi3516dv500移植yolov7,yolov8（6）
上一篇，我们讲到onnx模型的导出。模型导出之后要转换成om模型。这一篇主要就是来讲如何正确的导出Om模型。这个导出方式和以前Ruyistudio导出模型方式特别类似。只是不在windows平台里，在linux里。相关Python安装和库安装之前已经讲过了，这里就不重复了。
2023-12-28 15:50:00
1769
3
原创 Tofu5m目标识别跟踪模块 跟踪模块
支持全自动跟踪、即点即跟踪、动目标检测跟踪、手动框选跟踪、波门跟踪等多种模式跟踪，并提供跟踪过程中的闭环云台与吊舱运动控制与自适应变倍功能。支持热红外视频、可见光视频、微光视频下的人、车、船等物体的深度学习识别，其他类型物体识别算法可定制，提供完整解决方案服务。自动跟踪模式下避免传统的框选的麻烦与波门跟踪中无法自适应目标大小的问题，精确识别到目标类型后自动筛选目标进行跟踪。在画面中存在多个识别到目标时可另外选择即点即跟踪模式，在画面上点击要跟踪的目标，模块会锁定该目标进行跟踪。
2023-12-25 13:08:07
1405
原创 海思SD3403,SS928/926,hi3519dv500,hi3516dv500移植yolov7,yolov8（5）
上一篇已经把Onnx模型导出来了，在Netron看到层都对了之后就要去转换om模型了。首先，强烈建议不要和训练的linux搞一起，很多库不一定一样。如果很熟练能来回切换Python版本和库的牛人另当别论。几个依赖库版本这里列一下，方便参考。我用的是Ubuntu18.04。都按下面指令安装就可以。然后就是python的安装，这个就比较简单了。我装的是python3.7，也可以装高版本，这个应该没什么影响。python是先从官网下载的对应版本包后手动安装的。
2023-12-20 18:03:33
2508
6
原创 海思SD3403,SS928/926,hi3519dv500,hi3516dv500移植yolov7,yolov8（4）
如果想要在电脑做GPU推理或者在Nvidia板卡里运行，建议是加上EfficientNMS，Nvidia本身支持这个层转TensorRT，包括在训练环境里做onnx模型的推理，其实也最好是加上。这里转换完之后都是默认带EfficientNMS层，用Netron看大概率会是两种可能情况，一种是不带EfficientNMS，一种是不带NMS，像下面这种。这里NMS和Filter有IOU阈值，筛选的，这个部分不用在源码里修改，后面可以在海思代码里直接更改。原始模型导出的方式也给了一个源码，在export.py。
2023-12-20 16:49:54
2001
6
原创 海思SD3403,SS928/926,hi3519dv500,hi3516dv500移植yolov7,yolov8（3）
经过调试后中终于在hi3519dv500和hi3516dv500两个平台中都实现的算法验证。同时可以做自己定制的算法模型的移植了，下面是两个移植案例效果。识别运行时间上做了对比和统计，具体的可以看下面的表格。总体来说速度还是比较快的，Yolo系列算法实时运行是几乎没有任何问题。训练到量化过程已经全部验证完，期待在项目中使用。涉及到技术细节的部分因为商业用途，有部分省略。如需相关技术服务项目合作可私信联系。
2023-12-19 16:02:21
1929
5
原创 海思SD3403,SS928/926,hi3519dv500,hi3516dv500移植yolov7,yolov8（2）
本篇是在海思嵌入式芯片中移植yolov7和yolov8的第二篇。做一个调试的小总结。目前手上有SS928还有Hi3516dv500两个板子，3519DV500板子还没开始调。Hi3519dv500和3516是同一套SDK，基本上是一样的，算力稍高一点，ARM主频高一点。我们主要对yolov7和yolov8进行了从训练到量化，部署的工作。训练之前要改一下训练源码，不然训练完也跑不起来。量化过程是先转Onnx模型，然后Onnx再用MindStudio转om模型。
2023-11-29 14:41:31
2146
9
原创 海思SD3403,SS928/926,hi3519dv500,hi3516dv500移植yolov7,yolov8（1）
海思SS928，SS926以及Hi3519dv500,hi3516dv500下的yolov7模型部署推理系列
2023-09-26 11:08:06
2692
3
原创 如何使用Tofu进行光电产品目标识别跟踪功能升级
Tofu产品系列是利卓公司推出的目标识别跟踪应用的光电产品与AI升级用系列产品。今天介绍的是其中一个专门为光电产品升级自主目标识别跟踪应用的Tofu3产品。Tofu3可以快速集成到光电云台相机中，提供从目标识别到跟踪的完整解决方案。Tofu3目前支持热红外、可见光视频的输入，直接控制变焦镜头与云台，在目标识别后自主进行光机电联动，达到全过程跟踪的效果。典型的云台相机中连接关系如图。 输入方式上，热红外输入抛弃了传统的模拟视频输入方式，采用BT.656数字视...
2021-08-13 09:21:10
690
4
原创 热红外目标识别与跟踪
凡是温度比绝对零度高的物体均对外有热红外辐射，不管晚上还是白天都可以在没有自然光补光的情况下对物体进行观测。另一方面，热红外波段下的辐射强度同时也反映者物体的发热程度。因此，热红外成像在夜视观测与测温领域中发挥着重要作用。在疫情期间，热红外测温特性也被很好地利用，用于人体温度测量中。 本文章中主要介绍热红外目标识别与跟踪相关的内容。 热红外目前主流的分辨率有384×288与640×512两种分辨率，不同于可见光高清、4K等大分辨率，热红外因成本与工艺问题，还停留在低分辨率阶段。我们通常...
2021-03-15 20:40:31
4975
原创 如何在海思 Hi3519AV100上移植YOLOV3 （3)
隔了好久来填坑，这次写一下怎么在板卡中部署模型。打个小广告： 海思hi3519av100开发板链接：https://item.taobao.com/item.htm?spm=a230r.1.14.117.4afe75a61WreAX&id=586610485052&ns=1&abbucket=1#detail 除了SDK与底板图纸之...
2019-09-16 17:20:06
5272
11
原创 如何在海思 Hi3519AV100上移植YOLOV3 （2）
接着写未写完的部分，一直业务太忙，延期了两周才写这一篇。 本篇主要写一下模型量化后的仿真部分。海思在RS工具里提供了simulation方式对量化后的模型进行功能仿真（func sim）和指令仿真（inst sim），在板卡上跑之前就可以做模型的仿真，提前看到效果。主要目的认为是两个：1）模型识别功能的验证；2）模型识别阈值的调整。 打个小广告： 海思hi35...
2019-07-08 18:24:52
3801
9
原创 如何在海思 Hi3519AV100上移植YOLOV3 （1）
HI3519AV100包含了深度学习的NNIE内核，算力为2TOPS，是目前同等算力下性价比最好的平台之一。公司产品已经可以实时运行YOLO V3，写这个系列的原因在于帮助我们开放平台下的开发者用户及公司新入职员工的使用培训，可以更快速的使用开发板进行模型的部署。 打个小广告： 海思hi3519av100开发板链接：https://item.taobao.c...
2019-06-19 12:10:27
11850
20
原创 利卓创新- 超小型深度学习平台
Littro MicroBox超小型端上深度学习识别模组 概述 简介 Littro MicroBox支持端上人工智能识别，同时可推送识别后的视频流，并实时显示结果，MicroBox支持多种物体在线式识别算法，包括行人、车辆以及特殊指定物体类型，支持红外、可见光多个波段的多种分辨率与帧频的视频输入、接口上满足多类型输入以满足不同用户的需求。产品中同时支持视频编解码、视频压...
2019-01-12 18:39:13
4528
原创 TVMS视频管理平台 —— 多种目标跟踪模式
点击设备画面激活后，AI 模式中选择“波门跟踪”，点击“启动”，选择合适的波门大小(固定跟踪框水平与垂直方向像素数量)，点击画面位置即可跟踪。2) 在该设备视频区域，目标所在位置的左上角按下鼠标左键，并拖动光标，选择目标后松开鼠标左键，即可锁定区域启动跟踪。将 AI 模式切换为“自动跟踪”，并单击“启动”按钮，该设备的视频界面中目标将伴有跟踪信息框出现。1) 在“设备控制”界面中，将 AI 模式切换为“动目标跟踪”，并单击“启动”按钮。选中设备，单击“参数设置”按钮，弹出参数设置界面，显示目标跟踪参数。
2026-02-05 13:34:27
504
原创 低小慢无人机目标识别跟踪
MS2 光电无人机识别跟踪系统在（极微弱、极小型、远距离、低信噪比目标，如微型无人机、FPV竞速机、低RCS小型多旋翼、低热对比度目标等）的探测、识别与稳定跟踪能力上，展现出行业领先水平，是目前被动光电类设备中针对此类“难目标”表现最突出的产品之一。
2026-01-21 13:09:57
1023
原创 MS2无人机飞机鸟识别跟踪云台相机
一旦识别目标，即可实现全自动捕获、相机变焦追踪，高精度持续跟踪，结合高倍变焦与快速响应直驱电机驱动稳定锁定目标，提供目标的鹰眼捕获图像数据，可提供清晰的视频证据。这在动态、快速移动的小型无人机对抗中，几乎是光学设备中最强的一环。结合大倍率光学变焦 + 高清成像，在几公里外仍能提供可用于司法/指挥决策的清晰图像/视频证据，这是很多雷达或声学设备完全无法提供的“看得见、认得清”的最终确认手段，在重要设施安防、机场、监狱等场景中不可替代。这点在实际低空安防场景中是决定性优势，误报率远低于传统方案。
2026-01-21 13:08:19
979
原创 低空安全新利器：MS2 光电无人机识别跟踪系统深度解析
面对日益复杂的低空安全形势，选择一款性能卓越、智能化程度高的光电设备至关重要。MS2 正以其专业、稳定与高效的表现，为用户提供可靠的无人机识别与跟踪保障。如果您正计划升级或新建反无人机系统，MS2 绝对值得优先考虑。更多技术参数、案例视频与定制方案，请访问官方页面：欢迎随时联系，我们将为您提供专业咨询与演示支持，让低空安防更简单、更可靠！
2026-01-16 17:15:44
666
原创 无人机识别与跟踪技术：光电探测方式的精准守护
当前主流的无人机探测技术包括雷达、射频、声学和光电等多种方式。其中，光电（Electro-Optical）探测主要依赖可见光摄像机、红外热成像和激光测距等传感器，通过图像捕捉和智能分析实现无人机的发现、识别与跟踪。在低空安全日益重要的今天，光电探测方式以其精准、直观和可靠的优势，正成为反无人机体系中不可或缺的一环。如果您正在寻求高效的无人机识别与跟踪解决方案，欢迎了解并体验 MS2 设备——它将为您的安防体系提供强有力的光电守护。感兴趣的话，欢迎直接访问获取最新信息或联系咨询！
2026-01-16 17:13:16
1055
原创 双光无人机鸟识别跟踪云台相机——鹰眼功能
可对跟踪目标进行放大展示。在窗口中点击 鹰眼图标激活。关闭此功能时直接关闭显示窗口或再次点击鹰眼图标。鹰眼显示画面可拖动和拉伸。
2026-01-08 16:01:09
169
原创 双光无人机搜跟云台相机
支持全自动跟踪、即点即跟踪、动目标检测跟踪、手动框选跟踪、波门跟踪等多种模式跟踪，并提供跟踪过程中的闭环云台与吊舱运动控制与自适应变倍功能。支持热红外视频、可见光视频、微光视频下的人、车、船等物体的深度学习识别，其他类型物体识别算法可定制，提供完整解决方案服务。自动跟踪模式下避免传统的框选的麻烦与波门跟踪中无法自适应目标大小的问题，精确识别到目标类型后自动筛选目标进行跟踪。支持目标识别、动目标检测、多种模式跟踪算法、区域动态更新、自适应激光补光等功能。
2026-01-08 15:59:04
448
原创 hi3516cv610芯片yolov8算法移植（1）开篇
海思2024年又推出了一款超便宜的芯片平台hi3516cv610，价格直接控制到百元以内，集成度高。目前已经成功移植运行了yolov8算法，后面也会陆续更新。相关问题也欢迎私信或者留言交流。之前hi3516dv500/hi3519dv500芯片下好多朋友应该都已经移植成功算法了。后面如果不是特别忙的话坚持计划每周一篇速度来更新。
2025-02-25 11:22:14
1709
原创 热红外低小慢目标数据集开源！
热红外低小慢目标数据集数据由我司利卓创新 Tofu Intelligence开源提供，本数据仅用于科学研究，不得进行任何形式的二次销售或转包。若在论文研究中引用，请注明来源。
2024-12-25 13:34:47
489
原创 fiftyone初步使用
数据快速可视化显示方式来说fiftyone是用过的里面最好用的了。另外也提供了COCO，OpenImage数据库的分类下载功能。
2024-11-22 13:34:49
287
原创 无人机侦察打击方案（4）
光电云台中通过伺服角度、跟踪画面中的位置、激光测距等信息换算出无人机目标方位角。通过RS422/网络接口实时推送个激光打击组合。光电云台与激光打击组合安装于同一个结构工装，保持安装平面一致，对光学系统进行统一标定。标定参数包含，镜头焦距、相对位置、伺服角度、距离误差等。
2024-11-22 13:25:48
897
原创 无人机侦察打击方案（3）
此按钮激活后目标识别功能自动同步激活，目标识别类型与目标识别功能中配置的参数相同。分别支持人、车、船、飞机等目标识别，模型不一样支持的目标类型也存在差异，常规模型只支持人、车识别。激活，此功能下目标识别到跟踪将全自主完成，在识别到多目标的情况下优先选离中心点近的目标跟踪。如上图所示，界面左上为算法与配置区域，包含了多种图像算法功能，右下区域为常规光电控制与视频操作区域。包含目标识别、手动框选跟踪、区域动目标检测、识别点击跟踪、自动识别转跟踪、波门跟踪、设置等功能。，激活后可在画面中绘制方形检测区域。
2024-11-19 15:01:45
693
原创 无人机侦察打击方案（2）
在全自主模式下识别跟踪模块在视频中搜索可疑目标，发现目标后对目标进行锁定，进行二次放大连续识别确认目标的真伪，确认为真实目标后随即开始联动跟踪，过程中将目标类型、坐标、云台状态通过数据接口发送至操控端。支持全自动跟踪、即点即跟踪、动目标检测跟踪、手动框选跟踪、波门跟踪等多种模式跟踪，并提供跟踪过程中的闭环伺服与云台运动控制与自适应变倍功能。识别跟踪模块接收云台视频后实现目标的检测、识别、跟踪功能，同时在跟踪过程中联动云台伺服、镜头，锁定目标，输出视频中叠加目标信息。识别跟踪模块实物如下图所示。
2024-11-19 14:52:53
1351
原创 无人机侦察打击方案（1）
伺服采用两轴稳像控制方式，包含了水平电机、俯仰电机，可实现两个自由度的转动控制，从而完成360°无死角旋转，可自由获取无拘束的全方位视野。BIT4、BIT3、BIT2、BIT1分别控制下，上，左，右移动（1有效）；*1.指令码 1：BIT7，BIT6，BIT5， BIT3 位始终为0： BIT4为自动扫描功能控制位(1/0：打开/关闭该功能)， BIT2 光圈缩小(1有效)；云台采用航空铝合金精密加工而成，强度高、具有良好的吸振、抗雨、防尘、抗腐蚀能力，能够适应恶劣的野外工作环境。
2024-11-19 14:47:56
1593
1
原创 Tofu3 Object Detect and Track Module
Tofu3 is a product which can support thermal and visual light video input and edge calculation, and can be applied to intelligent day and night monitoring scene. The product also supports artificial intelligence based objects detecting and tracking algorit
2024-11-18 19:00:57
399
原创 Tofu船舶识别跟踪
可见光与热成像同时支持船只、人员、车辆、无人机、飞机、鸟类等目标物的识别及视频自动跟踪功能，转台采用无级变速跟踪，跟踪平滑不卡顿，同时支持。支持船只、人员、车辆、无人机、鸟类等模型在不同场景下训练识别及视频自动跟踪功能，支持全景拼接成像功能。支持船只、人员、车辆、无人机、鸟类等模型在不同场景下训练识别及视频自动跟踪功能，支持全景拼接成像功能。穿越围栏、绊线入侵、区域入侵、物品遗留、快速移动、停车检测、人员聚集、物品搬移、徘徊检测。预留6组串口通信，可叠加GPS、北斗、测距、温度湿度等传感器。
2024-11-18 18:57:35
1604
原创 Tofu识别跟踪变焦镜头控制接口与协议
接口为TTL（3.3V），波特率为9600bps;通信协议采用VISCA，典型通信协议见下表。x 默认1;y 默认98x 01 04 07 02 FF （变倍+）8x 01 04 07 03 FF （变倍-）8x 01 04 07 2p FF （变倍+）8x 01 04 07 3p FF （变倍-）T/W 操作；p=0 (Low) to 7 (High)，代表变焦速度自动变焦与手动变焦下p,q均为18x 01 04 06 02 FF （开）8x 01 04 06 03 FF （关）
2024-11-14 12:58:35
1111
原创 Tofu外设设备接口与协议
1）TTL/RS485均使用9600波特率，云台默认ID号为01；网络视频，BT656，Cameralink（非标）Cameralink（定制），SDI（定制）2）RTSP视频输入均为H.264压缩格式。网络视频，BT.656/1120，非标ExPelco-D高精度。：需接口转换板或有协议约束。
2024-11-14 12:57:22
314
SD3403运行caffe模型样例
2023-06-02
Python数据增强源码
2022-12-19
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人