打架识别（AI+Python+PyQt5）（一）

深度学习哪些事

已于 2023-01-09 16:21:00 修改

阅读量8.2k

点赞数 4

文章标签：目标检测人工智能计算机视觉 python

于 2023-01-09 15:47:49 首次发布

本文链接：https://blog.csdn.net/opencv_yys/article/details/128609117

版权

本文介绍了作者进行打架识别项目的经验，主要方法包括基于Detection、骨骼点和视频理解的打架检测。作者选择了基于目标检测的Yolo算法，详细阐述了从数据标注（使用Labelme工具）、数据转换到模型训练的全过程，展示了使用Yolo训练后的效果，证明了模型的有效性。

摘要由CSDN通过智能技术生成

最近做了一个打架识别的项目，有感于当时开发资料的匮乏，特做一个小结，供大家参考。闲话少叙，看看效果先。

1. 研究现状

目前打架检测，主要有3种主流的方法，分别是：

（1）基于Detection的打架检测。其主要思想是: 将打架作为一种类别，通过分类的方式，将打架行为检测出来。目前这方面的研究较少，且没有公开可用的数据集，想要沿着这条路走，需自备数据集，自行探索。

（2）基于骨骼点的打架检测。其主要思想是：通过OpenPose等框架，将人体的骨骼点回归出来，然后基于骨骼点写逻辑，进行判断。目前有一部分人是基于这个做的打架检测。但是打架过程中如果人员纠缠在一起的话，利用骨骼点准确判断就比较困难。

（3）基于视频理解的打架检测。其主要思想是：基于时序进行判断。打架对时序有着较强的依赖，利用目标检测技术去识别打架容易出现误检测或者漏检情况。另外如果人员重叠遮挡严重的话，基于骨骼点的行为识别，就有很大的局限性。而基于视频理解的打架检测，则较好的解决了这些问题。但是这种实现起来难度也较大。

我这里选择方案1，即基于目标检测做打架识别。前文也提到了，目前数据集十分匮乏。笔者也是反复查找，终于拿到了国外的一份很好的数据集。考虑到不同于一般的目标检测任务，所以数据集也是笔者亲自标注的，没有让第三方人员介入，目的就是保证标注的合理与精准。

基本流程是：

Labelme标注 -> 标注数据整理与格式转换 -> 模型训练 -> 部署

目前开发工作都是在win11上，采用的是开源的labelme工具。笔者也是头一次使用该工具。使用之后才发现其实还是不错的，功能十分齐全。另外我拿到的国外数据集，是视频的形式，因此需要先将视频转换成图片，然后再进行标注。具体可以参考这篇文章，写的不错。

Fig.1 利用Labelme进行数据标注

利用几天空闲时间，笔者标注了上千张图片，然后剔除了一些无效图像，最终标注的数据集的信息如下：