Open X-Embodiment数据可视化代码及分析

导入所需的包

import numpy as np
import tensorflow_datasets as tfds
from PIL import Image
from IPython import display

将读取的结果保存为GIF格式，并返回GIF格式数据

def as_gif(images, path='temp.gif'):
    """将一组图片保存为GIF格式，并读取"""
    images[0].save(path, save_all=True, append_images=images[1:], duration=100, loop=0)
    # duration:每一帧之间的时间间隔(ms)，loop:循环次数，0为一直循环
    gif_bytes = open(path, 'rb').read()
    # 读取GIF文件
    return gif_bytes

读取数据集中的数据

dataset = 'columbia_cairlab_pusht_real-test' # 数据集名称
display_key = 'image' # 用于查看features文件中'observation'是否含有'image'

builder = tfds.builder_from_directory(
    builder_dir='D:/Dataset/columbia_cairlab_pusht_real/0.1.0')
# 注意"/""，不能用"\"
# tfds.builder_from_directory 函数根据 dataset_info.json 下载数据并创建一个 tfds.core.DatasetBuilder
# 数据会根据 features.json 文件内容进行解析
# builder的数据类型见 block[5]

if display_key not in builder.info.features['steps']['observation']:
    """如果'observation'中不存在'image'，则抛出ValueError"""
    raise ValueError(
        f'The key {display_key} was not found in this dataset.\n'
        + 'Please choose a different image key to display for this dataset.\n'
        + 'Here is the observation spec:\n'
        + str(builder.info.features['steps']['observation']))

ds = builder.as_dataset(split='train[:10]').shuffle(10)
# as_dataset 将一个 tfds.core.DatasetBuilder 对象转换为一个 tf.data.Dataset 对象
# split='train[:10]' 加载训练集的前 10 个样本，shuffle 将其打乱
# 该数据集共 122 个样本，见 block[10]

可视化其中的数据

episode = next(iter(ds))
# 利用迭代器抽取第一个样本，由 block[11] 可见其中的数据内容
images1 = [step['observation'][display_key] for step in episode['steps']]
# 提取样本中每一个 step 观察到的图像(即 'observation' 中的 'image')，共 174 个，组成一个 4 维张量，见 block[13]
images2 = [Image.fromarray(image.numpy()) for image in images1]
# 将 images1 中的每一个张量先转换为数组，然后转换为 PIL 格式图像，见 block[14]
display.Image(as_gif(images2))
# 将 images2 保存为GIF，然后读取进行显示

代码已上传资源：

OpenX-Embodiment数据可视化代码及分析资源-CSDN文库https://download.csdn.net/download/qq_47572336/88407502?ops_request_misc=%257B%2522request%255Fid%2522%253A%2522169681892016800192298680%2522%252C%2522scm%2522%253A%252220140713.130102334.pc%255Fall.%2522%257D&request_id=169681892016800192298680&biz_id=1&utm_medium=distribute.pc_search_result.none-task-download-2~all~first_rank_ecpm_v1~rank_v31_ecpm-2-88407502-null-null.142^v95^insert_down1&utm_term=Open%20X-Embodiment%E6%95%B0%E6%8D%AE%E5%8F%AF%E8%A7%86%E5%8C%96%E4%BB%A3%E7%A0%81%E5%8F%8A%E5%88%86%E6%9E%90&spm=1018.2226.3001.4187.3