For any possible query regarding the datasets, please contact the first author of the paper.
有关数据集的任何疑问,请联系论文的第一作者。
The full datasets can be downloaded via:
完整的数据集可以通过以下方式下载:
If you need the skeleton data only, you could also obtain it via:
如果您只需要骨架数据,也可以通过以下方式获取:
https://drive.google.com/open?id=1CUZnBtYwifVXS21yVg62T-vrPVayso5H
https://drive.google.com/open?id=1tEbuaEqMxAV7dNc4fqu1O4M7mC6CJ50w
Structures of the datasets
数据集的结构
"NTU RGB+D" and NTU RGB+D 120" datasets contain 56,880 and 114,480 action samples, respectively. Both datasets include 4 different modalities of data for each sample:
“NTU RGB+D”和“NTU RGB+D 120”数据集分别包含 56,880 个和 114,480 个动作样本。两个数据集都包含每个样本的 4 种不同数据模式:
- RGB videos
- depth map sequences
- 3D skeletal data
- infrared (IR) videos
Video samples have been captured by three Microsoft Kinect V2 cameras concurrently. The resolutions of RGB videos are 1920×1080, depth maps and IR videos are all in 512×424, and 3D skeletal data contains the 3D locations of 25 major body joints at each frame.
视频样本已由三个 Microsoft Kinect V2 摄像机同时捕获。RGB视频分辨率为1920×1080,深度图和红外视频均为512×424,3D骨骼数据包含每帧25个主要身体关节的3D位置。
Each file/folder name in both datasets is in the format of SsssCcccPpppRrrrAaaa (e.g., S001C002P003R002A013), in which sss is the setup number, ccc is the camera ID, ppp is the performer (subject) ID, rrr is the replication number (1 or 2), and aaa is the action class label.
两个数据集中的每个文件/文件夹名称的格式均为 SsssCcccPpppRrrrAaaa 格式(例如 S001C002P003R002A013),其中 sss 是设置编号,ccc 是摄像机 ID,ppp 是执行者(主题)ID,rrr 是复制编号(1 或 2),aaa 是操作类标签。
The "NTU RGB+D" dataset includes the files/folders with setup numbers between S001 and S017, while the "NTU RGB+D 120" dataset includes the files/folders with setup numbers between S001 and S032.
“NTU RGB+D”数据集包括安装编号介于 S001 和 S017 之间的文件/文件夹,而“NTU RGB+D 120”数据集包括安装编号介于 S001 和 S032 之间的文件/文件夹。
总结:
如果是“NTU RGB+D”数据集
S001 和 S017总共17个文件夹
每个文件夹里面的视频命名格式均为 SsssCcccPpppRrrrAaaa 格式
其中sss对应所在文件夹的命名格式,比如所在的文件夹如果命名格式是S001,那就统一是S001
如果所在的文件夹如果命名格式是S002,那就统一是S002
...
如果所在的文件夹如果命名格式是S017,那就统一是S017
ccc 是摄像机 ID,既然视频样本由三个 Microsoft Kinect V2 摄像机同时捕获,那摄像机 ID就是C001,C002,C003
ppp 是执行者(主题)ID,也就是说不同的受试者来采集的数据集。
“NTU RGB+D”数据集是安排了40个受试者进行数据采集的。那Pppp应该也是从P001到P040
这个执行者(主题)ID具体是以什么样的策略方法分配到每个文件夹的数目可以参考一下原始论文。
rrr 是复制编号(1 或 2),那Rrrr应该是R001,R002
这个复制编号具体什么意思可以参考一下原始论文
aaa 是操作类标签。那Aaaa应该是A001,A002,... A060
以S001文件夹为例子,S001固定的,可以不管
S001C001表示S001文件夹,对应摄像机 ID是C001
S001C001P001表示S001文件夹,对应摄像机 ID是C001,对应的执行者(可理解为受试者)ID是P001
S001C001P001R001表示S001文件夹,对应摄像机 ID是C001,对应的执行者(可理解为受试者)ID是P001,对应的复制编号是R001
S001C001P001R001A001表示S001文件夹,对应摄像机 ID是C001,对应的执行者(可理解为受试者)ID是P001,对应的复制编号是R001,对应的动作类别是A001
所以S001C001P001R001A001_rgb.avi表示S001文件夹,对应摄像机 ID是C001,对应的执行者(可理解为受试者)ID是P001,对应的复制编号是R001,对应的动作类别是A001,对应的是RGB videos这种数据模态
接下来S001C001P001R001不变,从A001_rgb.avi到A060_rgb.avi
这是60个.avi文件
接下来S001C001P001不变,R001变为R002,然后从A001_rgb.avi到A060_rgb.avi
这是60个.avi文件
接下来S001C001不变,P001变为P002,然后R001,然后从A001_rgb.avi到A060_rgb.avi
这是60个.avi文件
接下来S001C001不变,仍然是P002,然后R002,然后从A001_rgb.avi到A060_rgb.avi
这是60个.avi文件
接下来S001C001不变,P002变为P003,然后R001,然后从A001_rgb.avi到A060_rgb.avi
这是60个.avi文件
接下来S001C001不变,仍然是P003,然后R002,然后从A001_rgb.avi到A060_rgb.avi
这是60个.avi文件
接下来S001C001不变,P003变为P004,然后R001,然后从A001_rgb.avi到A060_rgb.avi
这是60个.avi文件
接下来S001C001不变,仍然是P004,然后R002,然后从A001_rgb.avi到A060_rgb.avi
这是60个.avi文件
接下来S001C001不变,P004变为P005,然后R001,然后从A001_rgb.avi到A060_rgb.avi
这是60个.avi文件
接下来S001C001不变,仍然是P005,然后R002,然后从A001_rgb.avi到A060_rgb.avi
这是60个.avi文件
接下来S001C001不变,P005变为P006,然后R001,然后从A001_rgb.avi到A060_rgb.avi
这是60个.avi文件
接下来S001C001不变,仍然是P006,然后R002,然后从A001_rgb.avi到A060_rgb.avi
这是60个.avi文件
接下来S001C001不变,P006变为P007,然后R001,然后从A001_rgb.avi到A060_rgb.avi
这是60个.avi文件
接下来S001C001不变,仍然是P007,然后R002,然后从A001_rgb.avi到A060_rgb.avi
这是60个.avi文件
接下来S001C001不变,P007变为P008,然后R001,然后从A001_rgb.avi到A060_rgb.avi
这是60个.avi文件
接下来S001C001不变,仍然是P008,然后R002,然后从A001_rgb.avi到A060_rgb.avi
这是60个.avi文件
到这里是S001C001P008R002A060_rgb.avi
接下来S001,C001变为C002,然后P001,然后R001,然后从A001_rgb.avi到A060_rgb.avi
这是60个.avi文件
接下来S001,仍然是C002,然后P001,然后R001变为R002,然后从A001_rgb.avi到A060_rgb.avi
这是60个.avi文件
接下来S001,仍然是C002,然后P001变为P002,然后R001,然后从A001_rgb.avi到A060_rgb.avi
这是60个.avi文件
接下来S001,仍然是C002,仍然是P002,然后R001变为R002,然后从A001_rgb.avi到A060_rgb.avi
这是60个.avi文件
接下来S001,仍然是C002,仍然是P002,然后R001变为R002,然后从A001_rgb.avi到A060_rgb.avi
这是60个.avi文件
...
一直到S001C002P008R002A060_rgb.avi
接下来S001,C002变为C003
...
一直到S001C003P008R002A060_rgb.avi
到这里才是这S001一个文件夹才算完毕
然后S001变为S002
以此类推
...
一直到S017
其中ppp 是执行者(受试者)ID需要按某种规则来分配到不同的文件夹里面,会有些不一样
可以具体看看论文的描述也可以。
有关设置、相机 ID 等的更多详细信息,请参阅具体的论文。
GitHub - shahroudy/NTURGB-D: Info and sample codes for "NTU RGB+D Action Recognition Dataset"