NTU RGB+D 数据集可视化脚本

已于 2023-01-28 11:21:40 修改
阅读量464 收藏 1
点赞数 2
分类专栏： 算法学习 文章标签： python 人工智能 深度学习
于 2022-11-25 10:03:40 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/xiakejiang/article/details/128032867
版权 
## 导入第三方库
import os
import numpy as np
import matplotlib.pyplot as plt
from mpl_toolkits.mplot3d import Axes3D
import sys


## 读取关节数据
def read_skeleton(file):
    with open(file, 'r') as f:  # 打开file(.skeleton)文件
        skeleton_sequence = {}  # 初始化skeleton_sequence
        skeleton_sequence['numFrame'] = int(f.readline())  # 读取.skeleton文件第一行，即帧数
        skeleton_sequence['frameInfo'] = []

        for t in range(skeleton_sequence['numFrame']):  # 遍历每一帧
            frame_info = {}  # 初始化frame_info
            frame_info['numBody'] = int(f.readline())  # 再次调用.readline函数，读取.skeleton文件的下一行，即body数
            frame_info['bodyInfo'] = []

            for m in range(frame_info['numBody']):  # 遍历每一个body
                body_info = {}  # 初始化body_info
                body_info_key = [  # key: 数字表示的意义，即对应的key
                    'bodyID', 'clipedEdges', 'handLeftConfidence',
                    'handLeftState', 'handRightConfidence', 'handRightState',
                    'isResticted', 'leanX', 'leanY', 'trackingState'
                ]
                body_info = {
                    k: float(v)  # 字典类型; key: value(float类型)
                    for k, v in zip(body_info_key, f.readline().split())  # 读取下一行数据，根据key打包数据，遍历返回key, value
                }

                body_info['numJoint'] = int(f.readline())  # 读取下一行数据，即关节数
                body_info['jointInfo'] = []

                for v in range(body_info['numJoint']):  # 遍历25个关节的数据
                    joint_info_key = [  # Key: 数字表示的意义，即对应的key
                        'x', 'y', 'z', 'depthX', 'depthY', 'colorX', 'colorY',
                        'orientationW', 'orientationX', 'orientationY',
                        'orientationZ', 'trackingState'
                    ]
                    joint_info = {
                        k: float(v)  # 字典类型; key: value(float类型)
                        for k, v in zip(joint_info_key, f.readline().split())  # 读取下一行数据，根据key打包数据，遍历返回key, value
                    }
                    body_info['jointInfo'].append(joint_info)  # 保存关节数据

                frame_info['bodyInfo'].append(body_info)  # 保存body数据
            skeleton_sequence['frameInfo'].append(frame_info)  # 保存当前帧的数据
    return skeleton_sequence


## 读取关节的x，y，z三个坐标
def read_xyz(file, max_body=2, num_joint=25):
    seq_info = read_skeleton(file)  # 调用read_skeleton()函数读取.skeleton文件的数据

    data = np.zeros((3, seq_info['numFrame'], num_joint, max_body))  # 初始化数据； 3 × 帧数 × 25 × max_body
    for n, f in enumerate(seq_info['frameInfo']):  # 遍历每一帧的数据
        for m, b in enumerate(f['bodyInfo']):  # 遍历每一个body的数据
            for j, v in enumerate(b['jointInfo']):  # 遍历每一个关节的数据
                if m < max_body and j < num_joint:
                    data[:, n, j, m] = [v['x'], v['y'], v['z']]  # 保存 x,y,z三个坐标的数据
                else:
                    pass
    return data


## 2D展示
def Print2D(num_frame, point, arms, rightHand, leftHand, legs, body):
    # 求坐标最大值
    xmax = np.max(point[0, :, :, :])
    xmin = np.min(point[0, :, :, :])
    ymax = np.max(point[1, :, :, :])
    ymin = np.min(point[1, :, :, :])
    zmax = np.max(point[2, :, :, :])
    zmin = np.min(point[2, :, :, :])

    n = 0  # 从第n帧开始展示
    m = num_frame  # 到第m帧结束，n<m<row
    plt.figure()
    plt.ion()
    for i in range(n, m):
        plt.cla()  # # Clear axis, 即清除当前图形中的当前活动轴, 其他轴不受影响

        # 画出两个body所有关节
        plt.scatter(point[0, i, :, :], point[1, i, :, :], c='red', s=40.0)  # c: 颜色;  s: 大小

        # 连接第一个body的关节，形成骨骼
        plt.plot(point[0, i, arms, 0], point[1, i, arms, 0], c='green', lw=2.0)
        plt.plot(point[0, i, rightHand, 0], point[1, i, rightHand, 0], c='green', lw=2.0)  # c: 颜色;  lw: 线条宽度
        plt.plot(point[0, i, leftHand, 0], point[1, i, leftHand, 0], c='green', lw=2.0)
        plt.plot(point[0, i, legs, 0], point[1, i, legs, 0], c='green', lw=2.0)
        plt.plot(point[0, i, body, 0], point[1, i, body, 0], c='green', lw=2.0)

        # 连接第二个body的关节，形成骨骼
        plt.plot(point[0, i, arms, 1], point[1, i, arms, 1], c='green', lw=2.0)
        plt.plot(point[0, i, rightHand, 1], point[1, i, rightHand, 1], c='green', lw=2.0)
        plt.plot(point[0, i, leftHand, 1], point[1, i, leftHand, 1], c='green', lw=2.0)
        plt.plot(point[0, i, legs, 1], point[1, i, legs, 1], c='green', lw=2.0)
        plt.plot(point[0, i, body, 1], point[1, i, body, 1], c='green', lw=2.0)

        plt.text(xmax, ymax + 0.2, 'frame: {}/{}'.format(i, num_frame - 1))  # 文字说明
        plt.xlim(xmin - 0.5, xmax + 0.5)  # x坐标范围
        plt.ylim(ymin - 0.3, ymax + 0.3)  # y坐标范围
        plt.pause(0.001)  # 停顿延时

    plt.ioff()
    plt.show()


## 3D展示
def Print3D(num_frame, point, arms, rightHand, leftHand, legs, body):
    # 求坐标最大值
    xmax = np.max(point[0, :, :, :])
    xmin = np.min(point[0, :, :, :])
    ymax = np.max(point[1, :, :, :])
    ymin = np.min(point[1, :, :, :])
    zmax = np.max(point[2, :, :, :])
    zmin = np.min(point[2, :, :, :])

    n = 0  # 从第n帧开始展示
    m = num_frame  # 到第m帧结束，n<m<row
    plt.figure()
    plt.ion()
    for i in range(n, m):
        plt.cla()  # Clear axis, 即清除当前图形中的当前活动轴, 其他轴不受影响

        plot3D = plt.subplot(projection='3d')
        plot3D.view_init(120, -90)  # 改变视角

        Expan_Multiple = 1.4  # 坐标扩大倍数，绘图较美观

        # 画出两个body所有关节
        plot3D.scatter(point[0, i, :, :] * Expan_Multiple, point[1, i, :, :] * Expan_Multiple, point[2, i, :, :],
                       c='red', s=40.0)  # c: 颜色;  s: 大小

        # 连接第一个body的关节，形成骨骼
        plot3D.plot(point[0, i, arms, 0] * Expan_Multiple, point[1, i, arms, 0] * Expan_Multiple, point[2, i, arms, 0],
                    c='green', lw=2.0)
        plot3D.plot(point[0, i, rightHand, 0] * Expan_Multiple, point[1, i, rightHand, 0] * Expan_Multiple,
                    point[2, i, rightHand, 0], c='green', lw=2.0)  # c: 颜色;  lw: 线条宽度
        plot3D.plot(point[0, i, leftHand, 0] * Expan_Multiple, point[1, i, leftHand, 0] * Expan_Multiple,
                    point[2, i, leftHand, 0], c='green', lw=2.0)
        plot3D.plot(point[0, i, legs, 0] * Expan_Multiple, point[1, i, legs, 0] * Expan_Multiple, point[2, i, legs, 0],
                    c='green', lw=2.0)
        plot3D.plot(point[0, i, body, 0] * Expan_Multiple, point[1, i, body, 0] * Expan_Multiple, point[2, i, body, 0],
                    c='green', lw=2.0)

        # 连接第二个body的关节，形成骨骼
        plot3D.plot(point[0, i, arms, 1] * Expan_Multiple, point[1, i, arms, 1] * Expan_Multiple, point[2, i, arms, 1],
                    c='green', lw=2.0)
        plot3D.plot(point[0, i, rightHand, 1] * Expan_Multiple, point[1, i, rightHand, 1] * Expan_Multiple,
                    point[2, i, rightHand, 1], c='green', lw=2.0)
        plot3D.plot(point[0, i, leftHand, 1] * Expan_Multiple, point[1, i, leftHand, 1] * Expan_Multiple,
                    point[2, i, leftHand, 1], c='green', lw=2.0)
        plot3D.plot(point[0, i, legs, 1] * Expan_Multiple, point[1, i, legs, 1] * Expan_Multiple, point[2, i, legs, 1],
                    c='green', lw=2.0)
        plot3D.plot(point[0, i, body, 1] * Expan_Multiple, point[1, i, body, 1] * Expan_Multiple, point[2, i, body, 1],
                    c='green', lw=2.0)

        plot3D.text(xmax - 0.3, ymax + 1.1, zmax + 0.3, 'frame: {}/{}'.format(i, num_frame - 1))  # 文字说明
        plot3D.set_xlim3d(xmin - 0.5, xmax + 0.5)  # x坐标范围
        plot3D.set_ylim3d(ymin - 0.3, ymax + 0.3)  # y坐标范围
        plot3D.set_zlim3d(zmin - 0.3, zmax + 0.3)  # z坐标范围
        plt.pause(0.001)  # 停顿延时

    plt.ioff()
    plt.show()


## main函数
def main():
    sys.path.extend(['../'])  # 扩展路径
    data_path = '/home/user/data2t/datasets/NTU RGB+D Dataset/skeleton+D0-30000/S003C002P007R001A049.skeleton'  # 拍手skeleton文件名
    # data_path = 'S001C001P001R001A058.skeleton' # 握手skeleton文件名，two body
    point = read_xyz(data_path)  # 读取 x,y,z三个坐标
    print('Read Data Done!')  # 数据读取完毕

    num_frame = point.shape[1]  # 帧数
    print(point.shape)  # 坐标数(3) × 帧数 × 关节数(25) × max_body(2)

    # 相邻关节标号
    arms = [23, 11, 10, 9, 8, 20, 4, 5, 6, 7, 21]  # 23 <-> 11 <-> 10 ...
    rightHand = [11, 24]  # 11 <-> 24
    leftHand = [7, 22]  # 7 <-> 22
    legs = [19, 18, 17, 16, 0, 12, 13, 14, 15]  # 19 <-> 18 <-> 17 ...
    body = [3, 2, 20, 1, 0]  # 3 <-> 2 <-> 20 ...

    Print2D(num_frame, point, arms, rightHand, leftHand, legs, body)  # 2D可视化
    Print3D(num_frame, point, arms, rightHand, leftHand, legs, body) # 3D可视化


main()

*************

个人公众号“AI技术评论”，欢迎关注

                                          

 

dongxia_dl
关注
专栏目录
mac jupyter notebook/pycharm 动态图无法在一张图显示 以及NTU数据集骨架图可视化
Lyndsey的博客
06-13 673
倒腾了几小时终于OK啦 可视化NTU数据集骨架图的时候，只能显示第一帧的图像，无法显示之后的图像。检查数据的时候也发现有动态获取到数据。就想着可能是画图的问题，折腾了之后才发现是渲染的问题。 jupyter notebook无法显示动态图参考：https://blog.csdn.net/fenghuizhidao/article/details/79352882 我是mac，解决办法为添加：%matplotlib osx pycharm 无法显示动态图参考：https://blog.csdn.net/oMo
python金融大数据分析笔记（自用4）-数据可视化静态2D
qq_52443212的博客
04-01 1349
一.静态2D绘图 1.导入和定制 import matplotlib as mpl import matplotlib.pyplot as plt plt.style.use('seaborn') mpl.rcParams['font.family'] = 'serif' fig = plt.figure(facecolor='white') ax = fig.add_subplot(111) 2.一维数据集 import numpy as np np.random.seed(1000) y = np.r
NTU RGB-D 60 骨架数据集3D可视化
qq_43601378的博客
03-31 2950
NTU RGB-D 60数据集可视化
NTU_RGB+D数据集介绍及骨架数据可视化
牵一只蜗牛去散步
12-04 1万+
NTU_RGB+D动作识别数据集由56880个动作样本组成，涵盖每个样本的RGB视频、深度图序列、3D骨架数据和红外视频等。
如何用Matplotlib优雅地实现NTU-RGB D骨架可视化
qq_43601378的博客
10-08 2575
如何用Matplotlib实现NTU-RGB D骨架可视化 1.简介 骨架数据集由于其强鲁棒性而被广泛运用于动作识别和预测等领域，其中NTU RGB-D数据是最常用的骨架动作数据集。无论是在论文中描述自己的数据，亦或是分析特征变化过程，可视化都是必不可少的一步，本文将以NTU RGB-D数据集为基准使用Python的Matplotlib库对骨架数据进行可视化 2.数据分析 NTU RGB-D的数据集非常规范，其文件后缀名为‘.skeleton’，用记事本直接打开结果如下： 从上到下依次为帧数、骨架数量（不
骨架行为识别数据集NTU RGB+D 和NTU RGB+D 120动作标签
最新发布
dramaticme的博客
03-14 1913
参考：https://github.com/shahroudy/NTURGB-D"NTU RGB+D" dataset contains 60 action classes, and "NTU RGB+D 120" dataset contains 120 action classes. The actions in these two datasets are listed below. Note that actions labelled from A1 to A60 are in "NTU RGB+D
NTURGB-D:“ NTU RGB + D动作识别数据集”的信息和示例代码
05-02
“ NTU RGB + D”动作识别数据集 “ NTU RGB + D 120”动作识别数据集 “ NTU RGB + D”是用于人类动作识别的大规模数据集。 在我们的CVPR 2016论文。 “ NTU RGB + D 120”是“ NTU RGB + D”数据集的扩展版本。 ...
matlab数据输入代码-PLSTM:在张量流中实现部分感知的lstm，用于具有数据集NTURGB+D的基于骨骼的动作识别
05-27
matlab数据输入代码在TensorFlow中实现部分感知LSTM 在中提出了部分感知的lstm ，用于基于骨骼的动作识别。 它将整个身体分为5个身体部位。 经过特殊设计的lstm单元比普通单元可以更好地提取上下文特征。 单元图如下...
“NTU RGB+D“ Action Recognition Datasets下载方法（成功）
Yang_4881002的博客
11-15 1570
"NTU RGB+D" Action Recognition Datasets下载方法（成功）
NTU RGB+D动作识别数据集
Hren0412的博客
04-24 2万+
@NTU RGB+D动作识别数据集 NTU RGB + D动作识别数据集由56,880个动作样本组成，包含每个样本的RGB视频，深度图序列，3D骨架数据和红外视频。此数据集由3个Microsoft Kinect v.2相机同时捕获。RGB视频的分辨率为1920×1080，深度图和红外视频均为512×424,3D骨架数据包含每帧25个主要身体关节的三维位置。 Cross-View命名规则 S:设置号...
【论文笔记】NTU RGB+D
LoveKKarlie_的博客
01-20 1911
NTU RGB+D数据集
NTU-RGB+D数据处理(CTR-GCN ICCV2021)
qq_33331451的博客
12-09 4687
文章目录get_raw_skes_data.pyget_raw_denoised_data.pyseq_transformation.py get_raw_skes_data.py ''' 本文件主要生成四个文件 raw_data ├── frames_cnt.txt │ ├── num_frame_interval(list) ├── frames_drop.log │ ├── num_frame_interval(list) ├── frames_dro
C#坐标转换输出
撑起属于自己一片天空
10-24 1328
using System; using System.Collections.Generic; using System.Linq; using System.Text; using System.Threading.Tasks; namespace CountXY { //构造点坐标： class Point { private double x; ...
NTU-RGB+D数据集
热门推荐
weixin_51450749的博客
12-27 3万+
NTU-RGB+D（60）数据集 论文连接：NTU-RGB+D 一、基本介绍 该数据集包含60个种类的动作（见表1），共56880个样本，其中有40类为日常行为动作，9类为与健康相关的动作，11类为双人相互动作。这些动作由40个年龄从10岁到35岁的人完成。该数据集由微软 Kinect v2传感器采集得到，并且使用了三个角度不同的摄像机，采集的数据形式包括深度信息、3D骨骼信息、RGB帧以及红外序列。 表1 动作种类 二、两个评价准则 NTU数据集在划分训练集和测试集时采用不同的划分标准。 1、Cross
NTU RGB + D 120 动作识别数据集 描绘骨架(python)
单线程的Daniel的博客
04-23 1万+
“ NTU RGB + D”和“ NTU RGB + D 120”。 “ NTU RGB + D”包含60个动作类别和56,880个视频样本。 “ NTU RGB + D 120”通过添加另外60类和另外57,600个视频样本来扩展“ NTU RGB + D”，即“ NTU RGB + D 120”总共有120类和114,480个样本。 这两个数据集都包含每个样本的RGB视频，深度图序列，3D骨骼...
NTU-RGBD骨架数据分析
bairw_Bella的博客
10-12 4332
参考文献： NTU RGB+D动作识别数据集 NTU-RGBD骨架数据分析 NTU-RGBD Dataset NTU RGB + D动作识别数据集由56,880个动作样本组成，包含每个样本的RGB视频，深度图序列，3D骨架数据和红外视频。此数据集由3个Microsoft Kinect v.2相机同时捕获。RGB视频的分辨率为1920×1080，深度图和红外视频均为512×424,3D骨架数据包含每帧25个主要身体关节的三维位置(如下图所示)。 骨架文件命名格式： S001C00...
2s-AGCN Skeleton-Based Action Recognition 代码学习
qq_40250617的博客
05-23 7167
一, 大致框架 二, 零散的代码学习 一, 大致框架 data-get(N, C, T, V, M)(已经包含时间和空间信息)(样本数，channel，时间帧数，num_node,人数)。 joint_data；- graph_spatial（A）- (agcn.py)model(A,B,C;AGCN) -（main.py）train -test- softmax score a bone_data；- graph_spatial（A）- (agcn.py)model(A,B,C;AGCN..
NTU RGB + D 120 动作识别数据集 描绘骨架
hsclyy的博客
10-30 7967
“ NTU RGB + D”和“ NTU RGB + D 120”数据集分别包含56,880和114,480个动作样本。两个数据集都为每种样本包括4种不同的数据形式： RGB视频 深度图序列 3D骨骼数据 红外（IR）视频 在这里主要先讲解 3D骨骼数据 两个数据集中的每个文件/文件夹名称均采用SsssCcccPpppRrrrAaaa的格式（例如S001C002P003R002A013），其中s...
解决import cv2找不到指定模块问题
xiakj的专栏
02-27 8461
参考博客https://blog.csdn.net/yingyueer247/article/details/76422848
如何将Kinetics-skeleton数据转化为NTU RGB+D格式的数据集
05-24
将Kinetics-skeleton数据转换为NTU RGB+D格式的数据集需要进行以下步骤： 1. 下载并安装Kinetics-skeleton数据集：可以从该网站下载Kinetics-skeleton数据集（https://github.com/yysijie/st-gcn），并按照文档中的说明安装。 2. 下载NTU RGB+D数据集：可以从官方网站下载NTU RGB+D数据集（http://rose1.ntu.edu.sg/datasets/actionrecognition.asp），并按照文档中的说明安装。 3. 进行数据格式转换：使用NTU RGB+D数据集提供的代码将Kinetics-skeleton数据集转换为NTU RGB+D格式的数据集。具体来说，需要使用“kinetics2ntu.py”脚本，该脚本可以在NTU RGB+D代码库中找到，将Kinetics-skeleton数据转换为NTU RGB+D格式的数据。 4. 数据处理：在转换完成后，需要对新数据集进行处理，例如去除空白帧、裁剪和缩放。这些步骤可以使用NTU RGB+D数据集中提供的代码完成。 5. 训练和测试：最后，可以使用NTU RGB+D数据集中提供的代码进行训练和测试。 需要注意的是，Kinetics-skeleton数据集和NTU RGB+D数据集之间存在一些差异，例如数据格式、关键点数量和动作类别。因此，在转换和处理数据时，需要仔细考虑这些差异，并进行相应的调整。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值