自监督+基于骨架的人体动作识别:Unveiling the Hidden Realm: Self-supervised Skeleton-based Action Recognition in Occ

最新推荐文章于 2024-09-30 13:49:56 发布

学术菜鸟小晨

最新推荐文章于 2024-09-30 13:49:56 发布

阅读量218

点赞数

分类专栏：动作识别文章标签：人工智能计算机视觉

本文链接：https://blog.csdn.net/qq_34717531/article/details/133210999

版权

动作识别专栏收录该内容

3 篇文章 0 订阅

订阅专栏

研究人员提出了一种预训练和填充策略，解决遮挡情况下骨架动作识别问题。OPSTL结合KMeans和KNN，利用ASM增强PSTL，实现在NTURGB+D数据集上的有效性。源代码开源。

摘要由CSDN通过智能技术生成

论文作者：Yifei Chen,Kunyu Peng,Alina Roitberg,David Schneider,Jiaming Zhang,Junwei Zheng,Ruiping Liu,Yufan Chen,Kailun Yang,Rainer Stiefelhagen

作者单位：Karlsruhe Institute of Technology; University of Stuttgart; Hunan University; National Engineering Research Center of Robot Visual Perception and Control Technology

论文链接：http://arxiv.org/abs/2309.12029v1

项目链接：https://github.com/cyfml/OPSTL

内容简介：

1）方向：动作识别

2）应用：自主机器人

3）背景：目前，现有的基于骨架的自监督动作识别方法很少考虑涉及目标遮挡的情况，尽管这种情况在实际应用中具有重要意义。

4）方法：本文出了一个简单而有效的方法，首先使用被遮挡的骨架序列进行预训练，然后在序列嵌入上使用k均值聚类（KMeans）将语义上相似的样本分组。接下来，利用K最近邻（KNN）根据最接近的样本邻居填补缺失的骨架数据。通过填补不完整的骨架序列以创建相对完整的输入序列，可为现有基于骨架的自监督模型带来显著的好处。此外，在基于最先进的部分时空学习（PSTL）的基础上，引入了遮挡部分时空学习（OPSTL）框架，该增强使用自适应空间掩蔽（ASM）更好地利用高质量完整的骨架。

5）结果：通过在具有挑战性的遮挡版本NTURGB+D 60和NTURGB+D 120上验证了所提出的填补方法的有效性。源代码将在https://github.com/cyfml/OPSTL 上公开提供。