NTU-RGB+D数据集

最新推荐文章于 2024-08-28 13:47:09 发布
最新推荐文章于 2024-08-28 13:47:09 发布
阅读量4.2w 收藏 257
点赞数 60
分类专栏： 数据集 NTU数据集 基于骨架的动作识别 文章标签： 深度学习 人工智能 神经网络 python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_51450749/article/details/111768242
版权

NTU-RGB+D数据集

论文连接：NTU-RGB+D

一、基本介绍

该数据集包含60个种类的动作（见表1），共56880个样本，其中有40类为日常行为动作，9类为与健康相关的动作，11类为双人相互动作。这些动作由40个年龄从10岁到35岁的人完成。该数据集由微软 Kinect v2传感器采集得到，并且使用了三个不同角度的摄像机，采集的数据形式包括深度信息、3D骨骼信息、RGB帧以及红外序列。

表1 动作种类

在这里插入图片描述

二、两个评价准则

NTU数据集在划分训练集和测试集时采用了两种不同的划分标准。

1、Cross-Subject

Cross-Subject按照人物ID来划分训练集和测试集，训练集40320个样本，测试集16560个样本，其中将人物ID为 1, 2, 4, 5, 8, 9, 13, 14, 15,16, 17, 18, 19, 25, 27, 28, 31, 34, 35, 38的20人作为训练集，剩余的作为测试集。

2、 Cross-View

按相机来划分训练集和测试集，相机1采集的样本作为测试集，相机2和3作为训练集，样本数分别为18960和37920。
说到相机就不得不说相机的设置规则，三个相机，相机的垂直高度都是一样的，水平角度分别为-45°、0°和45°，每个动作执行人做两遍相同的动作，一个次对着左边的相机，一次对着右边的相机，也就是说最后会采集到2×3个不同角度的信息。最后，设置不同的相机高度及距离以增加视角多样性，并赋予一个设置号（1-17），见表2。

表2 设置号

在这里插入图片描述

三、NTU的骨架坐标数据集

由于笔者的研究方向是基于骨架的动作识别，所以主要和读者分享NTU中骨架数据集的相关内容，其他形式的数据集读者可进入NTU-RGB+D论文中了解更多的内容。
NTU采集到的骨架点共25个，如下图所示。
在这里插入图片描述

1、文件命名方式

首先，数据集中有56880个.skeleton文件，每个文件代表一个样本，文件命名方式如下图所示。
在这里插入图片描述
S后面跟的是设置号（1-17），正如表2所示
C后面跟的是相机ID（1-3）
P后面跟的是人物ID（1-40）
R后面跟的是动作执行的遍数（1-2）
A后面跟的是动作的分类（1-60）

2、数据的格式

可以用excel打开文件，里面的内容如下所示。
在这里插入图片描述
第1行为该样本的帧数
第2行为执行动作的人数
第3行共有10个数据分别代表'bodyID', 'clipedEdges', 'handLeftConfidence','handLeftState', 'handRightConfidence', 'handRightState','isResticted', 'leanX', 'leanY', 'trackingState'
第4行代表关节点数
第5-29行为25个关节点的信息，每个关节点有12个数据，分别代表'x', 'y', 'z', 'depthX', 'depthY', 'colorX', 'colorY','orientationW', 'orientationX', 'orientationY','orientationZ', 'trackingState'
以上为一帧的信息，其他帧都是上述表示方式。

NTU坐标形式的数据集在此下载，提取码oeef。

基于YOLOv10与NTU RGB+D数据集的深度学习动作识别实践
m0_52343631的博客
03-31 719
NTU RGB+D数据集（NTU RGB+D 60 和 NTU RGB+D 120）是一个面向动作识别的多模态数据集，广泛用于人体动作识别和行为分析。该数据集由新加坡南洋理工大学（NTU）发布，包含RGB视频、深度视频、骨架信息、以及骨骼连接的三维坐标。数据集中的动作涵盖了日常生活中的多种行为，具有很高的多样性和挑战性。包含60类和120类动作的识别任务。每个动作有多个视角，并且提供RGB视频、深度视频以及骨骼数据。每个视频样本中，动作的表现通常具有较高的复杂性和多变性，挑战性较大。
NTURGB-D:“ NTU RGB + D动作识别数据集”的信息和示例代码
05-02
“ NTU RGB + D”动作识别数据集 “ NTU RGB + D 120”动作识别数据集 “ NTU RGB + D”是用于人类动作识别的大规模数据集。 在我们的CVPR 2016论文。 “ NTU RGB + D 120”是“ NTU RGB + D”数据集的扩展版本。 它在我们的TPAMI 2019论文。 有关数据集的任何可能查询，请联系论文的第一作者。 如何下载数据集 请单击以获取有关访问“ NTU RGB + D”和“ NTU RGB + D 120”数据集的更多信息。 如果仅需要骨架数据，也可以通过以下方式获取它： 数据集的结构 “ NTU RGB + D”和“ NTU RGB + D 120”数据集分别包含56,880和114,480个动作样本。两个数据集都为每种样本包括4种不同的数据形式： RGB视频 深度图序列 3D骨骼数据 红外（IR）视频 视频样本已同
NTU-RGBD骨架数据分析
bairw_Bella的博客
10-12 4747
参考文献： NTU RGB+D动作识别数据集 NTU-RGBD骨架数据分析 NTU-RGBD Dataset NTU RGB + D动作识别数据集由56,880个动作样本组成，包含每个样本的RGB视频，深度图序列，3D骨架数据和红外视频。此数据集由3个Microsoft Kinect v.2相机同时捕获。RGB视频的分辨率为1920×1080，深度图和红外视频均为512×424,3D骨架数据包含每帧25个主要身体关节的三维位置(如下图所示)。 骨架文件命名格式： S001C00...
matlab数据输入代码-PLSTM:在张量流中实现部分感知的lstm，用于具有数据集NTURGB+D的基于骨骼的动作识别
05-27
matlab数据输入代码在TensorFlow中实现部分感知LSTM 在中提出了部分感知的lstm ，用于基于骨骼的动作识别。 它将整个身体分为5个身体部位。 经过特殊设计的lstm单元比普通单元可以更好地提取上下文特征。 单元图如下所示： 与正常的lstm细胞相比，不难发现plstm已分离出与不同身体部位相对应的i，g和g门。 受到启发。 因此，让我们在TensorFlow中实现它。 文件夹network包括三个文件PartAwareLSTMCell.py ， DataLoader.py和PLSTM.py 。 PartAwareLSTMCell.py是可识别零件的LSTM单元。 DataLoader.py是用于加载和预处理框架数据的数据加载器。 请注意，所有骨架数据的格式类似于数组[Number_clips，{'mat'：data，'view'：v，'class'：c，'actor'：a}]数据，其格式为[Frames，25，3] PLSTM.py是主要的培训和评估条目。 夹utils包括一个文件， gendata.py其使用，以产生在numpy的阵列中的格式的数据。 请注意，所有原
NTU-RGBD数据集下载及数据格式解析
Andrwin的博客
05-30 4853
NTU-RGBD
NTU-RGB-D数据集
qq_50944883的博客
08-28 598
S:设置号，“ NTU RGB + D”数据集包括设置号在S001和S017之间的文件/文件夹，而“ NTU RGB + D 120”数据集包括设置号在S001和S032之间的文件/文件夹。1.train_label.pkl和val_label.pkl数据文件。P:人物ID，P001表示一号动作执行人，但并非每个人都执行了所有动作。C:相机ID，共有三架，C001,C002,C003。2.train.npy文件。R:同一个动作的表演次数。
NTU_RGB+D数据集介绍及骨架数据可视化
热门推荐
牵一只蜗牛去散步
12-04 2万+
NTU_RGB+D动作识别数据集由56880个动作样本组成，涵盖每个样本的RGB视频、深度图序列、3D骨架数据和红外视频等。
介绍动作识别数据集：“NTU RGB+D”数据集和“NTU RGB+D 120”数据集
源代码杀手的博客
05-13 5392
动作识别数据集：“NTU RGB+D”数据集和“NTU RGB+D 120”数据集（还包括AUTH UAV手势数据集：NTU 4级）本页介绍两个数据集：“NTU RGB+D”和“NTU RGB+D 120”。“NTU RGB+D”包含60个动作类和56，880个视频样本。“NTU RGB+D 120”扩展了“NTU RGB+D”，增加了另外60个类和另外57，600个视频样本，即“NTU RGB+D 120”总共有120个类和114，480个样本。
NTU RGB+D数据集 训练集、测试集划分与缺失值处理
weixin_54644818的博客
12-11 1654
NTU RGB+D训练集、测试集的划分与缺失值处理（附代码）。
NTU-RGBD合集.xlsx
06-12
NTU论文整理，包含17、18年的绝大多数顶级期刊和会议的论文
骨架行为识别数据集NTU RGB+D 和NTU RGB+D 120动作标签
dramaticme的博客
03-14 2458
参考：https://github.com/shahroudy/NTURGB-D"NTU RGB+D" dataset contains 60 action classes, and "NTU RGB+D 120" dataset contains 120 action classes. The actions in these two datasets are listed below. Note that actions labelled from A1 to A60 are in "NTU RGB+D
NTU60RGBD数据集训练速度慢问题和解决
qq_60925525的博客
04-23 837
本文讨论如何决绝nturgbd数据集深度数据训练慢问题
NTU-RGBD数据集下载百度网盘链接
h123115456的博客
06-02 2880
链接：https://pan.baidu.com/s/1UqiOiDuUNytpMJQA9C2H2A。
【论文笔记】NTU RGB+D
LoveKKarlie_的博客
01-20 2385
NTU RGB+D数据集
NTU-RGB+D数据处理(CTR-GCN ICCV2021)
qq_33331451的博客
12-09 5451
文章目录get_raw_skes_data.pyget_raw_denoised_data.pyseq_transformation.py get_raw_skes_data.py ''' 本文件主要生成四个文件 raw_data ├── frames_cnt.txt │ ├── num_frame_interval(list) ├── frames_drop.log │ ├── num_frame_interval(list) ├── frames_dro
NTU RGB+D Datasets
小白的博客
11-20 8859
NTU RGB+D Datasets Basic size This dataset consists of 56,880 action samples containing 4 different modalities of data for each sample: RGB videos 136 GB depth map sequences Masked depth m...
RGB-D数据集（SLAM的和行人检测的）
weixin_34006468的博客
06-24 399
 移动机器人编程一般用mrpt，这个软件来做三维，里面封装了很多常用算法。 http://www.mrpt.org/download-mrpt/ SLAM的数据集，其中包括机器人slam http://vision.in.tum.de/data/datasets/rgbd-dataset   http://vision.in.tum.de/data/datasets/rgbd-datas...
nturgbd数据集
最新发布
01-14
### NTU RGB+D 数据集概述 NTU RGB+D 动作识别数据集由56,880个动作样本构成，每个样本包含了RGB视频、深度图序列、3D骨架数据以及红外视频。这些数据通过三个Microsoft Kinect v.2摄像头同步录制而成[^2]。 #### 下载指南 有兴趣的研究人员可以通过注册账户来访问该数据集。具体流程涉及提交申请表格并同意发布的条款与条件。一旦请求得到验证和批准，申请人将获得用于下载两个版本——即“NTU RGB+D”及其扩展版“NTU RGB+D 120”的唯一登录凭证[^1]。 #### 主要特征描述 - **多模态记录**：提供四种不同类型的感知信息—彩色图像(RGB)、距离测量(Depth Map)、骨骼姿态(Skeleton Data)，还有近红外光谱(Infrared Video)。 - **高分辨率素材**：RGB视频采用全高清标准（1920x1080），而其他两种视觉形式则保持一致的空间维度（512x424）。这使得即使是在复杂背景下也能捕捉到清晰的动作细节。 - **丰富的空间覆盖范围**：利用三台摄像机从多个角度同时拍摄同一场景，从而增强了对于人体运动的理解能力，并减少了遮挡问题的影响。 - **精确的骨骼追踪**：每帧内可检测多达25个人体关键部位的位置坐标，形成完整的三维结构表示，这对于分析特定姿势或手势非常有用。 ```python import numpy as np # 假设我们有一个包含单个动作实例的数据文件 'sample_data.npz' data = np.load('sample_data.npz') rgb_video = data['rgb'] # 彩色视频数组 (T,H,W,C) depth_maps = data['depth'] # 深度映射数组 (T,H,W) skeletons = data['skel'] # 骨骼数据矩阵 (T,J,D), J=25 关节点数, D=3 维度(x,y,z) print(f"RGB video shape: {rgb_video.shape}") print(f"Depth maps shape: {depth_maps.shape}") print(f"Skeleton joints shape: {skeletons.shape}") ```
评论 38
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值