NTU RGB+D: A Large Scale Dataset for 3D Human Activity Analysis

最新推荐文章于 2024-04-13 09:56:34 发布
最新推荐文章于 2024-04-13 09:56:34 发布
阅读量8.5k 收藏 7
点赞数 2
分类专栏： group activity lstm
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u013110060/article/details/57417262
版权
这篇论文介绍了NTU RGB+D数据集，包括3D骨架、深度图等信息，并提出了一种新颖的Part_Aware LSTM Network，将身体各部位的长期记忆独立存储，用于3D人体活动分析。实验表明，该方法在不依赖骨架标准化的情况下也能有效工作，同时解决了输入中单个或多个主体的问题。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

论文主要创建了The RGB+D Action Dataset ，并提出了Part_Aware LSTM Network。主要内容如下：

一：Dataset

    数据库包含3D skeletons (body joints)，Masked depth maps，Full depth maps，RGB videos，IR videos. 包含3种不同角度的视图（-45,0,45）


二：

最低0.47元/天 解锁文章
基于YOLOv10与NTU RGB+D数据集的深度学习动作识别实践
m0_52343631的博客
03-31 680
NTU RGB+D数据集（NTU RGB+D 60 和 NTU RGB+D 120）是一个面向动作识别的多模态数据集，广泛用于人体动作识别和行为分析。该数据集由新加坡南洋理工大学（NTU）发布，包含RGB视频、深度视频、骨架信息、以及骨骼连接的三维坐标。数据集中的动作涵盖了日常生活中的多种行为，具有很高的多样性和挑战性。包含60类和120类动作的识别任务。每个动作有多个视角，并且提供RGB视频、深度视频以及骨骼数据。每个视频样本中，动作的表现通常具有较高的复杂性和多变性，挑战性较大。
“NTU RGB+D“ Action Recognition Datasets下载方法（成功）
Yang_4881002的博客
11-15 2146
"NTU RGB+D" Action Recognition Datasets下载方法（成功）
数据集论文解读：NTU RGB+D: A Large Scale Dataset for 3D Human Activity Analysis
com_fang_bean的博客
07-20 2533
最近的基于深度的人类活动分析方法取得了良好的效果，并证明了三维表示对动作类分类的有效性。目前可用的基于深度和RGB+Dbased的动作识别基准测试都有一些限制，包括缺乏训练样本、不同的类标签、相机视图和不同的对象。在本文中，我们介绍了一个大规模的数据集，用于RGB+D人类动作识别，有超过56000个视频样本和400万帧，从40个不同的主题。我们的数据集包含60d相互的和与健康相关的行动。此外，我们提出了一种新的递归神经网络结构来建模每个身体部位特征的长期时间相关性，并利用它们来更好地进行动作分类。实验结果表
【论文阅读】：NTU RGB+D: A Large Scale Dataset for 3D Human Activity Analysis
qq_36627158的博客
08-25 1531
NTU RGB+D: A Large Scale Dataset for 3D Human Activity Analysis （2016 CVPR） Amir Shahroudy, Jun Liu, Tian-Tsong Ng, Gang Wang Notes Contribution 1、introduce a large-scale dataset for RGB+D human action recognition 2、propose a new recurrent neural n
NTU_RGB+D数据集介绍及骨架数据可视化
牵一只蜗牛去散步
12-04 2万+
NTU_RGB+D动作识别数据集由56880个动作样本组成，涵盖每个样本的RGB视频、深度图序列、3D骨架数据和红外视频等。
探索NTURGB-D: 一个强大的RGB-D数据集与深度学习利器
gitblog_00060的博客
04-13 1017
探索NTURGB-D: 一个强大的RGB-D数据集与深度学习利器 去发现同类优质开源项目:https://gitcode.com/ 项目简介 是一个由国立台湾大学（NTU）开发的大型RGB-D（彩色+深度）动作识别数据集。它旨在推动三维人体行为理解和计算机视觉在这一领域的研究。该数据集包含超过56,000个样本，涉及60种不同的动作类别，涵盖多种复杂的交互和非交互性场景。 技术分析 数据规模与质量...
读取NTU-RGB-D数据集并利用关节信息生成gif
qq_44662196的博客
08-22 1237
一、读取NTU-RGB-D数据集 本文基于matlab2016实现。并需要先下载NTU-RGB-D数据集，打开下载的压缩包得到的是一组后缀名为skeleton 的文件，如图1.1所示 图1.1NTU-RGB-D数据集中的 skeleton文件 主函数如下 clc clear skeletonfilename = 'C:\Users\赵迪\Downloads\Raw_Skeleton_S01-S17\skeleton+D0-30000\S001C001P001...
（十二：2020.08.28）CVPR 2016 追踪之论文纲要（译）
Jojo论文基地
08-28 4901
CVPR 2016 追踪之论文纲要（修正于2020.08.28）讲在前面论文目录 讲在前面 论坛很多博客都对论文做了总结和分类，但就医学领域而言，对这些论文的筛选信息显然需要更加精细的把控，所以自己对这643篇的论文做一个大致从名称上的筛选，希望能找到些能解决当前问题的答案。 论文链接建议直接Google论文名，比去各种论文或顶会网站找不知道快捷多少。 下面皆为机器翻译以方便我第一次筛选，我会慢慢修正，但现在请结合。有兴趣的可以问我要处理这些论文并自动翻译的脚本。 Respect！ 论文目录
python姿态识别_基于深度学习的人体姿态识别算法总结
weixin_39796116的博客
12-10 2811
from:https://zhuanlan.zhihu.com/p/276571961. 写在前面大概两个月前，接到一个小任务，要做一个深度学习在人体姿态识别领域的一些调研，以前也没做调研相关的事情，连格式怎么写都不知道，前前后后看了接近20篇论文，然后就写下来这篇小总结，感觉都不能算是调研，文章主要列出了一些相关的数据集以及深度学习的方法包括基于无监督学习的行为识别、基于卷积神经网络的行为识别...
NTU-RGB+D数据集
weixin_51450749的博客
12-27 4万+
NTU-RGB+D（60）数据集 论文连接：NTU-RGB+D 一、基本介绍 该数据集包含60个种类的动作（见表1），共56880个样本，其中有40类为日常行为动作，9类为与健康相关的动作，11类为双人相互动作。这些动作由40个年龄从10岁到35岁的人完成。该数据集由微软 Kinect v2传感器采集得到，并且使用了三个角度不同的摄像机，采集的数据形式包括深度信息、3D骨骼信息、RGB帧以及红外序列。 表1 动作种类 二、两个评价准则 NTU数据集在划分训练集和测试集时采用不同的划分标准。 1、Cross
读书笔记9：Spatio-Temporal LSTM with Trust Gates for 3D Human Action Recognition
b224618的博客
08-18 5483
传统的LSTM是处理时间序列的，是一个一维的问题，而本文提出了spatio-temporal LSTM，其实就是将一维的LSTM改成了二维的。 简介中，可以看出本文是准备探索基于RNN的3D skeleton based action recognition。并且指出本文将把RNN同时延伸到spatio-temporal维度，来同时从两个维度分析数据中的动作信息。受到人体骨架的结构的启发，作者还...
PLSTM的TensorFlow实现与解释
机器学习杂货铺1号店
04-09 2327
PLSTM的TensorFlow实现与解释 前言 * 我们在上篇文章《TensorFlow中的LSTM源码理解与二次开发》中已经提到了lstm cell在tensorflow中的实现。这篇博文主要介绍了如何在TensorFlow中通过修改lstm cell来定制自己的lstm网络，并且以 《NTU RGB+D: A Large Scale Dataset for 3D Human Acti...
NTU RGB+D Datasets
小白的博客
11-20 8851
NTU RGB+D Datasets Basic size This dataset consists of 56,880 action samples containing 4 different modalities of data for each sample: RGB videos 136 GB depth map sequences Masked depth m...
RGB-D dataset
soaring_casia的专栏
08-22 5933
2012年ACCV《Model Based Training, Detection and Pose Estimation of Texture-Less 3D Objects in Heavily Cluttered Scenes 》公布了一个数据库，该数据库可用于Pose tracking方面的测试。这篇博客主要介绍一下这个数据库，以及使用该数据库时的注意事项。       数据库下载地
[骨架动作识别]数据集
liudiudiu
07-16 1万+
NTU RGBD CVPR2016 RGB videos depth map sequences 3D skeletal data infrared videos MSR-Action3D Finally, the MSR Action3D [45] represents one of the most used datasets for HAR. It includes 20 act...
论文阅读：CVPR2016 Paper list
热门推荐
一亩半分地
05-12 8万+
CVPR2016 accepted paper list
基于深度学习的３D骨架动作识别
liudiudiu
07-16 1万+
关于２Ｄ视频动作识别，请移步这两篇博客1,博客2 ３Ｄ骨架动作识别，现在主要有两种方法，一是用ＬＳＴＭ进行时序上的记忆，二是将骨架坐标转换成特殊的图片，用卷积网络进行特征提取以及记忆。 目前使用的最大最全的数据集是NTU-RGBD，后来又出现了一个，但这个数据集是一段视频包含多段动作，主要是用来做detection的。 基于lstm的３d骨架动作识别 因为骨架信息是３Ｄ坐标，两帧之间的变化...
NTU RGB+D图卷积网络
最新发布
03-15
### 关于 NTU RGB+D 数据集与图卷积网络 (Graph Convolutional Network, GCN) #### 1. **NTU RGB+D 数据集概述** NTU RGB+D 是一个广泛用于动作识别研究的大规模数据集，分为两个版本：NTU RGB+D 60 和 NTU RGB+D 120。该数据集提供了多种模态的数据，包括 RGB 视频、深度图像以及骨骼坐标信息。为了生成这些数据集中的样本，需要对原始数据进行预处理并调整路径设置以适配本地存储环境[^1]。 #### 2. **图卷积网络在骨骼动作识别中的应用** 图卷积网络是一种专门设计来处理结构化数据（如图）的深度学习模型。对于基于骨架的动作识别任务，通常会构建一张时空图（Spatial-Temporal Graph），其中节点表示关节位置，边则描述了它们之间的关系。 - 特征图 \(f^t_{\text{in}}\) 定义为每个节点上的向量集合，在空间图上执行卷积操作时需重新定义采样函数和权重分配机制[^2]。 - ST-GCN（Spatio-Temporal Graph Convolutional Networks）首次提出了利用图神经网络解决动态骨架序列建模问题的方法，并成为这一领域的重要基线模型之一[^4]。 #### 3. **改进版模型 SDGCN 的介绍** 为进一步提升性能，有研究者开发了一种新的框架叫做 SDGCN（Single-Domain and Cross-Domain Spatial Temporal Graph Convolutional Networks）。此架构通过加入跨域空间图残差层及密集连接模块增强了时间维度的信息提取能力，从而更高效地捕捉复杂的运动模式[^3]。 #### 4. **实现教程与资源推荐** 以下是几个关于如何使用 Python 及 PyTorch 构建针对 NTU RGB+D 数据集训练流程的例子： ##### （a）加载数据 确保所有文件夹内的视频帧或者骨骼点都已按照标准格式整理好之后再读取进来： ```python import os def load_data(data_path): data_list = [] label_list = [] for file_name in os.listdir(data_path): if 'skeleton' in file_name: # 假设我们只关心 skeleton 文件 with open(os.path.join(data_path, file_name), 'r') as f: content = f.readlines() skeletons = parse_skeleton(content) # 自定义解析函数 data_list.append(skeletons) label_list.append(extract_label(file_name)) # 获取标签 return np.array(data_list), np.array(label_list) ``` ##### （b）搭建基础 ST-GCN 模型 这里给出一段简化后的代码片段展示核心部分： ```python class Model(nn.Module): def __init__(self, num_class=60, graph_args=None, edge_importance_weighting=True): super(Model, self).__init__() # 初始化参数... def forward(self, x): N, C, T, V, M = x.size() # 输入张量形状 # 执行一系列 gcn 卷积层计算过程... output = F.softmax(output, dim=-1) return output ``` 更多细节可参考官方 GitHub 页面或其他开源项目链接获取完整的源码文档说明。 --- ###
评论 16
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值