- 博客(207)
- 收藏
- 关注
RSS订阅
原创 海思SD3403,SS928/926,hi3519dv500,hi3516dv500移植yolov7,yolov8（9）
上一节yolov8的训练已经完成了，现在要开始做模型的转换了，这里和yolov7方式相似，但是有一些差异，尤其是yolov7的不带NMS部分的输出顺序和yolov8的输出顺序与格式是有差异的。尾部链接了 我们自定义的DecBBox，Filter，Sort还有NMS。这里面filter和NMS的过滤条件不用管，在推理代码里还要重新配置一下，用这个默认配置就可以。我们一个一个看，首先filter.py里 要先增加个Filter的自定义层。这个部分和yolov7方式是完全一样的。下面是和yolov7的对比。
2024-01-16 09:10:45
1187
4
原创 海思SD3403,SS928/926,hi3519dv500,hi3516dv500移植yolov7,yolov8（8）
目前为止yolov7算法在海思hi3519dv500.3516dv500下的移植已经说完了，后面开始讲 yolov8的移植。过程基本上是一样的，只是在训练和转换过程中会和yolov7有区别。本章先说一下训练的部分。
2024-01-10 15:34:41
2259
1
原创 海思SD3403,SS928/926,hi3519dv500,hi3516dv500移植yolov7,yolov8（6）
上一篇，我们讲到onnx模型的导出。模型导出之后要转换成om模型。这一篇主要就是来讲如何正确的导出Om模型。这个导出方式和以前Ruyistudio导出模型方式特别类似。只是不在windows平台里，在linux里。相关Python安装和库安装之前已经讲过了，这里就不重复了。
2023-12-28 15:50:00
1489
3
原创 Tofu5m目标识别跟踪模块 跟踪模块
支持全自动跟踪、即点即跟踪、动目标检测跟踪、手动框选跟踪、波门跟踪等多种模式跟踪，并提供跟踪过程中的闭环云台与吊舱运动控制与自适应变倍功能。支持热红外视频、可见光视频、微光视频下的人、车、船等物体的深度学习识别，其他类型物体识别算法可定制，提供完整解决方案服务。自动跟踪模式下避免传统的框选的麻烦与波门跟踪中无法自适应目标大小的问题，精确识别到目标类型后自动筛选目标进行跟踪。在画面中存在多个识别到目标时可另外选择即点即跟踪模式，在画面上点击要跟踪的目标，模块会锁定该目标进行跟踪。
2023-12-25 13:08:07
1156
原创 海思SD3403,SS928/926,hi3519dv500,hi3516dv500移植yolov7,yolov8（5）
上一篇已经把Onnx模型导出来了，在Netron看到层都对了之后就要去转换om模型了。首先，强烈建议不要和训练的linux搞一起，很多库不一定一样。如果很熟练能来回切换Python版本和库的牛人另当别论。几个依赖库版本这里列一下，方便参考。我用的是Ubuntu18.04。都按下面指令安装就可以。然后就是python的安装，这个就比较简单了。我装的是python3.7，也可以装高版本，这个应该没什么影响。python是先从官网下载的对应版本包后手动安装的。
2023-12-20 18:03:33
2247
6
原创 海思SD3403,SS928/926,hi3519dv500,hi3516dv500移植yolov7,yolov8（4）
如果想要在电脑做GPU推理或者在Nvidia板卡里运行，建议是加上EfficientNMS，Nvidia本身支持这个层转TensorRT，包括在训练环境里做onnx模型的推理，其实也最好是加上。这里转换完之后都是默认带EfficientNMS层，用Netron看大概率会是两种可能情况，一种是不带EfficientNMS，一种是不带NMS，像下面这种。这里NMS和Filter有IOU阈值，筛选的，这个部分不用在源码里修改，后面可以在海思代码里直接更改。原始模型导出的方式也给了一个源码，在export.py。
2023-12-20 16:49:54
1615
6
原创 海思SD3403,SS928/926,hi3519dv500,hi3516dv500移植yolov7,yolov8（3）
经过调试后中终于在hi3519dv500和hi3516dv500两个平台中都实现的算法验证。同时可以做自己定制的算法模型的移植了，下面是两个移植案例效果。识别运行时间上做了对比和统计，具体的可以看下面的表格。总体来说速度还是比较快的，Yolo系列算法实时运行是几乎没有任何问题。训练到量化过程已经全部验证完，期待在项目中使用。涉及到技术细节的部分因为商业用途，有部分省略。如需相关技术服务项目合作可私信联系。
2023-12-19 16:02:21
1493
5
原创 海思SD3403,SS928/926,hi3519dv500,hi3516dv500移植yolov7,yolov8（2）
本篇是在海思嵌入式芯片中移植yolov7和yolov8的第二篇。做一个调试的小总结。目前手上有SS928还有Hi3516dv500两个板子，3519DV500板子还没开始调。Hi3519dv500和3516是同一套SDK，基本上是一样的，算力稍高一点，ARM主频高一点。我们主要对yolov7和yolov8进行了从训练到量化，部署的工作。训练之前要改一下训练源码，不然训练完也跑不起来。量化过程是先转Onnx模型，然后Onnx再用MindStudio转om模型。
2023-11-29 14:41:31
1621
9
原创 海思SD3403,SS928/926,hi3519dv500,hi3516dv500移植yolov7,yolov8（1）
海思SS928，SS926以及Hi3519dv500,hi3516dv500下的yolov7模型部署推理系列
2023-09-26 11:08:06
1848
3
原创 如何使用Tofu进行光电产品目标识别跟踪功能升级
Tofu产品系列是利卓公司推出的目标识别跟踪应用的光电产品与AI升级用系列产品。今天介绍的是其中一个专门为光电产品升级自主目标识别跟踪应用的Tofu3产品。Tofu3可以快速集成到光电云台相机中，提供从目标识别到跟踪的完整解决方案。Tofu3目前支持热红外、可见光视频的输入，直接控制变焦镜头与云台，在目标识别后自主进行光机电联动，达到全过程跟踪的效果。典型的云台相机中连接关系如图。 输入方式上，热红外输入抛弃了传统的模拟视频输入方式，采用BT.656数字视...
2021-08-13 09:21:10
475
3
原创 热红外目标识别与跟踪
凡是温度比绝对零度高的物体均对外有热红外辐射，不管晚上还是白天都可以在没有自然光补光的情况下对物体进行观测。另一方面，热红外波段下的辐射强度同时也反映者物体的发热程度。因此，热红外成像在夜视观测与测温领域中发挥着重要作用。在疫情期间，热红外测温特性也被很好地利用，用于人体温度测量中。 本文章中主要介绍热红外目标识别与跟踪相关的内容。 热红外目前主流的分辨率有384×288与640×512两种分辨率，不同于可见光高清、4K等大分辨率，热红外因成本与工艺问题，还停留在低分辨率阶段。我们通常...
2021-03-15 20:40:31
4473
原创 如何在海思 Hi3519AV100上移植YOLOV3 （3)
隔了好久来填坑，这次写一下怎么在板卡中部署模型。打个小广告： 海思hi3519av100开发板链接：https://item.taobao.com/item.htm?spm=a230r.1.14.117.4afe75a61WreAX&id=586610485052&ns=1&abbucket=1#detail 除了SDK与底板图纸之...
2019-09-16 17:20:06
4881
11
原创 如何在海思 Hi3519AV100上移植YOLOV3 （2）
接着写未写完的部分，一直业务太忙，延期了两周才写这一篇。 本篇主要写一下模型量化后的仿真部分。海思在RS工具里提供了simulation方式对量化后的模型进行功能仿真（func sim）和指令仿真（inst sim），在板卡上跑之前就可以做模型的仿真，提前看到效果。主要目的认为是两个：1）模型识别功能的验证；2）模型识别阈值的调整。 打个小广告： 海思hi35...
2019-07-08 18:24:52
3489
9
原创 如何在海思 Hi3519AV100上移植YOLOV3 （1）
HI3519AV100包含了深度学习的NNIE内核，算力为2TOPS，是目前同等算力下性价比最好的平台之一。公司产品已经可以实时运行YOLO V3，写这个系列的原因在于帮助我们开放平台下的开发者用户及公司新入职员工的使用培训，可以更快速的使用开发板进行模型的部署。 打个小广告： 海思hi3519av100开发板链接：https://item.taobao.c...
2019-06-19 12:10:27
11102
19
原创 利卓创新- 超小型深度学习平台
Littro MicroBox超小型端上深度学习识别模组 概述 简介 Littro MicroBox支持端上人工智能识别，同时可推送识别后的视频流，并实时显示结果，MicroBox支持多种物体在线式识别算法，包括行人、车辆以及特殊指定物体类型，支持红外、可见光多个波段的多种分辨率与帧频的视频输入、接口上满足多类型输入以满足不同用户的需求。产品中同时支持视频编解码、视频压...
2019-01-12 18:39:13
4187
原创 XFeat快速图像特征匹配算法
XFeat在速度上超越了当前基于深度学习的局部特征模型（速度提高了5倍），具有相当或更好的准确性，并在姿势估计和视觉定位方面得到了验证10。：与典型方法不同，XFeat将关键点检测分离成一个独立的分支，使用1×1的卷积在一个8×8的张量块变换图像上进行快速处理。：XFeat设计了一种新颖的轻量级CNN架构，可以部署在资源受限的平台，无需特定硬件优化即可实现高吞吐量或计算效率。：XFeat在限制网络中通道数量的同时保持尽可能大的图像分辨率，以满足准确图像匹配的需求。
2024-07-03 15:40:41
338
原创 海思SD3403,SS928/926,hi3519dv500,hi3516dv500移植yolov7,yolov8（24）SS928/SD3403推理yolov8 - om量化
这里有个小注意的地方，新的ultralytics8.2版本最近更新的比较多，导出模型前最好看一下源码，虽然区别不大，改的时候对应自己用的版本改就可以。topK，low_score_thresh，num_thresh 这些参数后面都可以在程序里改，不用太在意。这里数据格式按照自己的图像输入格式而定，输入格式有特别多的格式，依据自己的程序来配置。我训练的模型是两个类的，这里面class_num和自己模型的类别数有关系。另外导出时选择Onnx12的版本，13，14的版本可能会有问题。导出后的模型结构是这样的。
2024-07-03 15:35:07
491
原创 OpenVINO简介
OpenVINO（Open Visual Inference and Neural Network Optimization）是由Intel开发的一款用于优化和部署深度学习模型的开源工具包。它主要针对视觉、音频等应用领域，提供了深度学习推理的加速。OpenVINO工具包支持从云端到边缘设备的深度学习模型优化，能够跨多种硬件平台加速推理过程，包括CPU、GPU、FPGA、AI加速器等。
2024-06-20 18:01:36
865
原创 Movidius被收购后怎么样了
谁还记得当年做计算神经棒的movidius，这个领域里算是佼佼者，大疆无人机上也用过movidius计算芯片，19年推出更具性能的MyriadX计算芯片，然后...被英特尔收购，再也没有听说过出独立芯片了。：Movidius的CEO Remi El-Ouazzane表示，作为英特尔的一部分，公司将继续专注于其使命，并利用英特尔的资源进行更快速和更大规模的创新4。Movidius在被英特尔收购后，其技术和产品在多个领域得到了应用和发展，英特尔通过这次收购加强了自身在人工智能和计算机视觉领域的竞争力。
2024-06-20 17:58:16
275
原创 ultralytics 8.2.35增加YOLOv9t/s/m模型全过程
yolov9的作者代码有一些部分本身就是从yolov5里“借鉴”而来，性能提高没提高见仁见智吧。yolov9的小模型开源也有两周左右了，ultralytics两天前新版本已经可以支持使用了。另外x-Anylabeling也支持了yolov9和yolov10。yolov10的nms free方式倒是比较有意思。过一段时间，Yolov10估计也快了。
2024-06-19 15:27:25
388
原创 SS928的SVP_NNN和NNN的区别
图像分析引擎 2 与图像分析引擎 1 在支持的模型层上存在一些差异，特别是在量化小型化工具支持的层和一些特定功能上。
2024-06-18 17:59:20
394
原创 海思SD3403,SS928/926,hi3519dv500,hi3516dv500移植yolov7,yolov8（23）SS928/SD3403推理yolov8-推理速度更新
实际用的是4T算力的，里面是有两个NPU，一个叫SVP_NNN，一个叫NNN，用的方式还不一样，分别用SVP_ACL接口和ACL接口。我是没有时间去研究ACL，用的SVP_ACL的方式。今天抽空测试了一下3403跑yolov8的速度，源码还没改完，后处理还是先用CPU来跑了，这样速度会拖慢一点，先看看效果。有用过NNN的可以交流交流，感觉像是从昇腾里抠出来的一块塞进去的。并没有比hi3519dv500快多少，后处理部分花点时间改完再试试吧。纯用SVP_NNN，后处理CPU运行的速度结果如下。
2024-06-18 17:50:17
1407
2
原创 YOLO-MS简介
YOLO-MS是一种高效且性能卓越的目标检测器，由南开大学提出45。它的核心设计基于对不同Kernel-Size卷积如何影响不同尺度上目标检测性能的研究。YOLO-MS的目标是在实时目标检测领域提供一种平衡速度和准确性的解决方案，特别是在边缘设备如无人机和机器人上的应用。
2024-06-17 18:28:04
352
原创 海思SD3403,SS928/926,hi3519dv500,hi3516dv500移植yolov7,yolov8（22）hi3516dv500/19dv500对比RK3588
RK3588有6T算力，而且ARM资源比现有小海思平台是要好很多的。更主要是最近有个项目刚交付了一批RK3588产品，做了图像匹配定位的内容。最近太忙更新不及时，SS928跑yolov8的文章各位朋友不要催，最近在测试自己魔改的yolov8，测完有结论了跟大家分享。魔改的yolov8在dv500系列里有些小问题，能正常运行，但是优化报错，在做更细致的测试。1）RK3588的一个NPU是2T算力，横向对比hi3516dv500的2T算力，相比要慢10ms左右。相比海思的单NPU是有明显优势的。
2024-06-17 18:26:01
396
原创 单目物体测距
单目测距是一种利用单个摄像头来获取场景深度信息的技术。根据搜索结果，以下是一些常见的单目测距方法：1. **相似三角形法**：这是一种基于几何原理的方法，通过已知物体的尺寸和在图像中的像素宽度来计算物体与相机之间的距离。2. **基于已知运动的测量方法**：这种方法利用相机的移动来辅助测量，通过比较不同时间点的图像来估计深度信息。3. **Mobileye单目测距**：这是一种特别提到的方法，通常涉及到车辆检测和测距，可能涉及到特定的几何模型和算法来提高测距的准确性。
2024-06-12 12:59:33
510
原创 Yolov9比其他yolo版本的改进
1. **可逆函数角度的分析**：YOLOv9从可逆函数的角度理论上分析了现有的CNN架构，基于这种分析，设计了PGI（可编程梯度信息）和辅助可逆分支，取得了优秀的结果。8. **效率、准确性和适应性的提高**：YOLOv9引入了开创性技术，如PGI和GELAN，这标志着实时目标检测领域的重大进步，提高了模型的效率、准确性和适应性。5. **性能提升**：YOLOv9在MS COCO数据集上的性能在所有方面都大大超过了现有的实时目标检测器，显示出速度和精度上的显著提升。
2024-06-09 17:13:57
297
原创 海思SD3403,SS928/926,hi3519dv500,hi3516dv500移植yolov7,yolov8（21）Yolov9s测试
yolov9s.pt为例，pt模型大小为，有yolov9-s.pt 和 yolov9-s-converted.pt 两个模型，一个19M，一个14M，先不管这俩区别是什么了。同一张图拿到yolov8s里测试，我都不用最新的8.2版本ultralytics，用旧的8.0版本，阈值参数设置一样，conf = 0.25，iou = 0.45。现在总算是开源t,s模型，而且这里评估的结果上来看是好于yolov8的，那就测试看看到底怎么样。大小是37.1M，比yolov8s的onnx模型是要小 4M左右。
2024-06-09 17:10:13
404
原创 硬光敏的程序实现
10. **硬件接口**：与补光灯、红外滤镜等硬件设备的接口进行通信，确保控制命令的正确执行。4. **设备控制**：根据光照强度的检测结果，控制补光灯的开关以及其他相关设备的模式切换。9. **电源管理**：在电池供电或低功耗设备上，考虑电源管理策略，以延长设备使用时间。3. **光照强度检测**：周期性地读取光敏传感器的值，以判断当前的光照条件。8. **日志记录**：记录程序运行的状态和日志信息，便于问题诊断和系统优化。2. **阈值设置**：根据应用场景和需求，设置合适的光照强度阈值。
2024-06-07 13:19:42
86
原创 软光敏的程序实现
4. **防抖机制**：为了避免因环境光线的微小变化导致的频繁开关，可以引入防抖机制，例如要求连续多次检测结果低于阈值才开启补光灯。1. **图像预处理**：对摄像头捕获的原始图像进行去噪、滤波等预处理操作，以提高亮度计算的准确性。5. **多区域检测**：在一些应用中，可能需要对图像的不同区域进行亮度检测，以适应复杂的光照环境。2. **亮度计算**：可以使用多种方法来计算图像的亮度，例如平均亮度、加权亮度等。3. **阈值设置**：根据应用场景和需求，合理设置亮度阈值，以控制补光灯的开关。
2024-06-07 13:18:22
254
原创 软光敏和硬光敏的对比
通过软硬光敏结合的方法，可以更准确地判断光照强度，解决单一方法可能存在的问题，如软光敏的启动延迟或硬光敏的环境光干扰。软光敏和硬光敏是两种不同的技术，用于检测和响应环境光照强度的变化。
2024-06-07 13:16:47
589
原创 yolov8魔改之Ghost引入
Ghost层是在CVPR 2020上由华为诺亚方舟实验室提出的7。它是一种新型的端侧神经网络架构，称为GhostNet。Ghost层的核心思想是通过廉价操作生成更多的特征图，从而在保持精度的同时减少计算量和参数量。在YOLO（You Only Look Once）目标检测模型中引入Ghost层是可行的，并且可以带来一些潜在的性能提升。这些改进使得Ghost层及其衍生架构在轻量化网络设计和推理加速方面具有显著的技术提升。以下是引入Ghost的网络层结构。
2024-06-04 14:43:01
442
原创 图像关键特征描述方法-小目标
SIFT是一种广泛使用的特征描述方法，它通过尺度空间和梯度方向直方图来描述图像中的关键点，具有尺度不变性和旋转不变性，对于光照和视角变化也具有一定的鲁棒性。: 如BRISK、BRIEF、ORB、FREAK等，这些描述符依赖于强度信息，并将关键点周围的信息编码为一串二进制数字，适合于小目标的快速匹配。对于小目标的特征描述上，因小目标的像素数量少，特征信息少的特点，采用的方法也需要甄别一下。: 通过结合不同尺度的特征来提升小目标的特征表达能力，有助于提取小目标在不同尺度上的特征。
2024-06-04 12:11:35
141
原创 海思SD3403,SS928/926,hi3519dv500,hi3516dv500移植yolov7,yolov8（20）- SS928/SD3403移植yolov8，好消息！！！
于是先测试了一下训练后的结果数据。就从同一组数据，同一组参数来说yolov10比yolov8并没有显著提升，反而是点降低。识别速度和延迟在电脑上的测试结果是确实要好的。yolov10先放一边，这次最最重要的事情是在SS928/SD3403上终于 ，终于跑通了yolov7和yolov8。足足等了两年，一直被我认为鸡肋的的3403终于是可以用上强大的ARM了。上一篇验证介绍了一下yolov10，yolov10的移植来说理论上是完全可行的，但是就创新侧重点来说去掉了NMS层，对于海思平台似乎没有那么大的吸引力。
2024-06-04 12:06:11
1089
5
原创 yolov8改进之嵌入Gold层
results = model("https://ultralytics.com/images/bus.jpg") # 对图像进行预测。model.train(data="coco128.yaml", epochs=3) # 训练模型。model = YOLO("yolov8n.pt") # 加载预训练模型（建议用于训练）model = YOLO("yolov8n.yaml") # 从头开始构建新模型。metrics = model.val() # 在验证集上评估模型性能。
2024-06-03 12:55:53
241
原创 YOLOv8 与 YOLOv10 比较
在检测小物体方面表现出了更好的性能，尤其是在使用较低置信度阈值时。由清华大学研究人员推出，旨在通过优化模型架构和后处理流程来推进实时物体检测。：在各种物体检测任务中表现良好，但在处理小物体时可能会遇到困难，通常需要仔细调整置信度阈值。在处理小物体方面表现出明显的优势，尤其是在使用较低置信度阈值时。：更有效地优化参数使用，以更少的参数实现更高的性能。构建块进行有效的特征提取和融合，提高性能，但仍然依赖。版本的局限性（特别是在后处理和小物体检测方面），相比，模型不仅速度更快，而且更紧凑。
2024-06-03 12:49:27
555
原创 海思SD3403,SS928/926,hi3519dv500,hi3516dv500移植yolov7,yolov8（19）-Yolov10探索
YOLOv10 开源有几天了，看性能是比较强的，但是试过的一些人说没有YOLOv8好，实际效果以测试结果为准，这里创新点算是去掉了之前YOLO的NMS步骤，论文题目也说了NMS-Free，以此来提高小目标检测率，减少计算冗余，也没有NMS的计算时间提高实时性。：在检测小物体方面表现出了更好的性能，尤其是在使用较低置信度阈值时。：在各种物体检测任务中表现良好，但在处理小物体时可能会遇到困难，通常需要仔细调整置信度阈值。：更有效地优化参数使用，以更少的参数实现更高的性能。相比，模型不仅速度更快，而且更紧凑。
2024-05-30 13:17:25
384
SD3403运行caffe模型样例
2023-06-02
Python数据增强源码
2022-12-19
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人