基于无人机的人体行为识别

参加第六届全球校园人工智能算法精英大赛，赛题为挑战赛道的基于无人机行为识别，最终在兢兢业业打榜一个月获得国家二等奖，好开心！！！

github代码链接：https://github.com/ylyaixi/life-victory

项目概述

通过深度学习、模式识别、图像处理等技术手段，设计并训练高效准确的人体行为识别模型，为安防领域提供更加智能、便捷的安全监测解决方案。

本项目旨在设计并训练高效准确的人体行为识别模型，我们的核心模型是动态边缘图卷积网络（DE-GCN），并在其框架内提出了新的多模态融合方案。该方案包含关节-骨骼（jbf）、关节-速度（jmf）以及关节-骨骼-速度（jbmf）等模态组合。此外，还融入了TeGCN、STTFormer和SkateFormer模型。对于初始数据方面，我们基于传统的关节（joint）、骨骼（bone）、运动（motion）三种基础模态，引入了角度（angle）模态，以更好地捕捉骨架中各关节的角度变化，从而增强模型对复杂行为的辨识能力。通过多模态与多模型的联合融合，有效补足了单一模态或模型的不足，提高了骨架数据的多维度特征表达能力，增强了模型的鲁棒性和精度。

DEGCN

下图为degcn基本模块，相关论文内容见github链接里面转载的论文

在degcn基础上，我们设计了多流融合的创新结构，并以图2.1的基本架构为基础构建了包含多个特征流的多模态融合网络，如双模态融合训练和三模态融合训练。具体而言，我增加了四种融合流：关节-骨骼融合流、关节-速度融合流、骨骼-速度融合流以及关节-骨骼-速度融合流。

2
图2.1.1 DEGCN的基础模块及单流训练方法

通过多流设计，模型可以在每个流中从不同模态的特征中提取有效信息，同时通过各流的组合进一步丰富模型的表达能力。相较于单流方法，该多模态融合结构显著提高了对复杂动作的识别性能，并在空间和时间维度上达到了更加精细和全面的特征建模。 

参赛建议

有想法参加这个比赛的同学，根据我的参赛经验我建议是如果赛题有给出baseline先把这个跑通了解，然后自己去寻找一些能用的相关最新模型开始调试跑一遍看效果，可以在papers with code上面找最新相关论文附相关GitHub代码（需要科学上网）

最重要的一点，一定要在赛题qq群里面多加人进行交流，真的能学到很多，也能知道他们在用什么模型，用什么方法，当然是碰到好心人愿意分享的情况下哈哈，我还挺幸运碰到了挺多好心人嘻嘻。

赛后感想

在这个比赛中锻炼了我进行模型训练的能力，让我成功踏上炼丹一路哈哈哈哈，特别感谢我的小马学长，在他的推荐和鼓励下我开始了这个比赛并获得了成绩。

当然，让我在比赛中最开心的还是我交到了一些朋友，我们一起探讨，一起加油，真的很珍惜那段时光啊，充实而又快乐哈哈哈哈开心