人体动作识别的多模态数据集UTD-MHAD介绍

原文：link
官方下载地址：link

简介

Utd-MHAD由四种模式同步采集的数据集组成。这些模式包括RGB视频、深度视频、骨骼位置、来自Kinect摄像机的惯性信号和一套可用于27种人类动作的可穿戴惯性传感器。
该数据集可用于研究涉及同时使用深度摄像机数据和惯性传感器数据的融合方法。这个公共领域的数据集有利于不同的研究小组为进行人类行动识别而进行的多模态研究活动。

数据集一共由4男4女共8个人执行的27个动作组成。每个人每个动作重复四次。去除3个损坏的序列，数据集共包含861个序列

动作类别

Wearable inertial sensor on right wrist

序号	描述	类别
1	right arm swipe to the left	(swipe_left)
2	right arm swipe to the right	(swipe_right)
3	right hand wave	(wave)
4	two hand front clap	(clap)
5	right arm throw	(throw)
6	cross arms in the chest	(arm_cross)
7	basketball shoot	(basketball_shoot)
8	right hand draw x	(draw_x)
9	right hand draw circle (clockwise)	(draw_circle_CW)
10	right hand draw circle (counter clockwise）	(draw_circle_CCW)
11	draw triangle	(draw_triangle)
12	bowling (right hand)	(bowling)
13	front boxing	(boxing)
14	baseball swing from right	(baseball_swing)
15	tennis right hand forehand swing	(tennis_swing)
16	arm curl (two arms)	(arm_curl)
17	tennis serve	(tennis_serve)
18	two hand push	(push)
19	right hand knock on door	(knock)
20	right hand catch an object	(catch)
21	right hand pick up and throw	(pickup_throw)

Wearable inertial sensor on right thigh

序号	描述	类别
22	jogging in place	(jog)
23	walking in place	(walk)
24	sit to stand	(sit2stand)
25	stand to sit	(stand2sit)
26	forward lunge (left foot forward)	(lunge)
27	squat (two arms stretch out)	(squat)

示例

四个数据集以及官方的代码

(a)RGB图像(b)深度图像（c）人体关节点坐标（d）惯性数据(加速度和陀螺仪信号)

数据格式

对于每个动作序列，RGBshipin 存储在.avi 文件中，深度、骨架和惯性传感器数据使用 MATLAB 计算环境分别存储为三个 .mat 文件。
因此，数据集中包含四个数据文件。文件的命名格式是“ai_sj_tk_modality”，其中ai代表动作，编号i（1-27）；sj代表测试者（1-8），编号j；tk代表次数（1-4），编号k。modality对应四种数据模态（color, depth, skeleton, inertial）。

conference

[1] Chen C . UTD-MHAD: A multimodal dataset for human action recognition utilizing a depth camera and a wearable inertial sensor[C]// IEEE International Conference on Image Processing. IEEE, 2015.