人体动作识别的多模态数据集UTD-MHAD介绍

英俊学霸博

已于 2022-03-28 15:42:13 修改

阅读量5k

点赞数 1

文章标签：深度学习

于 2022-03-23 15:42:01 首次发布

本文链接：https://blog.csdn.net/qq_34340574/article/details/123686214

版权

这篇博客介绍了Utd-MHAD数据集，它由RGB视频、深度视频、骨骼位置和惯性传感器数据组成，用于研究融合深度相机和惯性传感器的人体动作识别方法。数据集包含8个人执行的27种动作，共861个序列，适合多模态研究。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

原文：link
官方下载地址：link

简介

Utd-MHAD由四种模式同步采集的数据集组成。这些模式包括RGB视频、深度视频、骨骼位置、来自Kinect摄像机的惯性信号和一套可用于27种人类动作的可穿戴惯性传感器。
该数据集可用于研究涉及同时使用深度摄像机数据和惯性传感器数据的融合方法。这个公共领域的数据集有利于不同的研究小组为进行人类行动识别而进行的多模态研究活动。

数据集一共由4男4女共8个人执行的27个动作组成。每个人每个动作重复四次。去除3个损坏的序列，数据集共包含861个序列

动作类别

Wearable inertial sensor on right wrist

序号	描述	类别
1	right arm swipe to the left	(swipe_left)
2	right arm swipe to the right	(swipe_right)
3	right hand wave	(wave)
4	two hand front clap	(clap)
5	right arm throw	(throw)
6	cross arms in the chest	(arm_cross)
7	basketball shoot	(basketball_shoot)
8	right hand draw x	(draw_x)
9	right hand draw circle (clockwise)	(draw_circle_CW)
10	right hand draw circle (counter clockwise）	(draw_circle_CCW)
11	draw triangle	(draw_triangle)
12	bowling (right hand)	(bowling)
13	front boxing	(boxing)
14	baseball swing from right	(baseball_swing)
15	tennis right hand forehand swing	(tennis_swing)
16	arm curl (two arms)	(arm_curl)
17	tennis serve	(tennis_serve)
18	two hand push	(push)
19	right hand knock on door	(knock)
20	right hand catch an object	(catch)
21	right hand pick up and throw	(pickup_throw)

Wearable inertial sensor on right thigh

序号	描述	类别
22	jogging in place	(jog)
23	walking in place	(walk)
24	sit to stand	(sit2stand)
25	stand to sit	(stand2sit)
26	forward lunge (left foot forward)	(lunge)
27	squat (two arms stretch out)	(squat)

示例

在这里插入图片描述
四个数据集以及官方的代码

(a)RGB图像(b)深度图像（c）人体关节点坐标（d）惯性数据(加速度和陀螺仪信号)

数据格式

对于每个动作序列，RGBshipin 存储在.avi 文件中，深度、骨架和惯性传感器数据使用 MATLAB 计算环境分别存储为三个 .mat 文件。
因此，数据集中包含四个数据文件。文件的命名格式是“ai_sj_tk_modality”，其中ai代表动作，编号i（1-27）；sj代表测试者（1-8），编号j；tk代表次数（1-4），编号k。modality对应四种数据模态（color, depth, skeleton, inertial）。

conference

[1] Chen C . UTD-MHAD: A multimodal dataset for human action recognition utilizing a depth camera and a wearable inertial sensor[C]// IEEE International Conference on Image Processing. IEEE, 2015.