开源无人机搭载SpireCV视觉套件，实现电诈园区视觉识别实战模拟

阿木实验室

已于 2024-02-02 11:05:28 修改

阅读量604

点赞数 9

分类专栏： SpireCV 文章标签：无人机计算机视觉

于 2023-12-29 16:38:49 首次发布

本文链接：https://blog.csdn.net/msq19895070/article/details/135293562

版权

SpireCV 专栏收录该内容

11 篇文章 6 订阅

订阅专栏

项目介绍前言

随着科技的进步和大数据时代的到来，计算机视觉技术逐渐渗透到各个行业领域，为人们的生活和工作带来了诸多便利。近年来，电信诈骗案件频发，给社会带来了巨大的经济损失和心理负担。电诈园区作为电信诈骗的高发区域，其人员和房屋情况复杂，给安全管理带来了极大的挑战。传统的监控手段往往依赖于人工巡查效率低下且容易错过关键信息。因此，利用无人机搭载计算机视觉技术对电诈园区的人员及房屋情况进行智能识别和分析，成为了解决这一问题的有效途径。

本次实验中，我们将利用阿木实验室自研P600旗舰视觉款无人机，通过搭载SpireCV视觉开发套件来实现视觉识别技术，模拟在电信诈骗园区中搜寻电诈人员的情景。

【无人机侦察】在线多目标识别侦察“缅甸”园区

实验场景

假设电诈园区内电诈人员10人，人质10人，分别关押在园区内不同房屋中；本实验采用稻草人偶和纸质房屋来模拟真实环境，用红色人偶代表电诈人员特征信息，蓝色人偶代表人质特征信息，红色房屋代表电诈人员居住的房屋特征信息，蓝色房屋代表人质人员居住的房屋特征信息。

实验步骤

1.前期数据采集——>2.数据标注及预处理——>3.模型训练——>

4.模型转化及部署——>5.真机实验及结果展示

项目解析及效果展示

前期数据采集

前期对待识别目标进行特征数据进行采集训练，及采集红色、蓝色木偶人和红色、蓝色房屋进行图像采集，本次实验大约采集1000余张特征数据图片，并进行编号。

图1 采集图片数据展示

数据标注及预处理

接下来，采用SpireCV配套数据标注软件SpireView来进行数据标注，标注格式为yolo格式，具体操作方法请参考阿木实验室官网——SpireCV文档 - 自定义数据集训练检测器，链接如下：

阿木实验室https://docs.amovlab.com/Spire_CV_Amov/#/src/%E8%87%AA%E5%AE%9A%E4%B9%89%E6%95%B0%E6%8D%AE%E9%9B%86%E8%AE%AD%E7%BB%83%E6%A3%80%E6%B5%8B%E5%99%A8/%E8%87%AA%E5%AE%9A%E4%B9%89%E6%95%B0%E6%8D%AE%E9%9B%86%E8%AE%AD%E7%BB%83%E6%A3%80%E6%B5%8B%E5%99%A8

图2 图片数据标注

全部标注完成后，Ctrl+O选择标注格式并输出结果。此处我们选择Yolo detection format，点击OK在保存路径下生成YOLO格式训练文件；对于YOLO训练来说，我们需要scaled_images文件夹、Yolo_labels文件夹和Yolo_categories.names文件.

模型训练

我们根据阿木实验室官网——SpireCV文档 - 自定义数据集训练检测器 (amovlab.com)的模型训练方法将标注好的图片和标签数据存放到指定文件夹下，然后打开终端下载所需的YOLO模型，建立YOLO类别名参数文件夹，最后进行模型，具体训练步骤请参照上述给出阿木实验室官网教程。

图3 开始模型训练截图

图4 训练结果混淆矩阵图

图5 F1_curve图

由训练结果可以看出模型综合准确率为98%，模型训练的结果具有较高的准确性。

模型转化及部署

在训练完成后，我们将训练结果最好的.pt模型转换为.wts模型，在将.wts模型部署到SpireCV机载计算机上，并将.wts模型转换为.engine模型，最后针对自定义数据集，需要修改~/SpireCV/sv_algorithm_params.json文件，例如，自定义数据集名称为DatasetName，该名称要与权重文件名称对应。