huggingface下载的.arrow数据集读取与使用说明

最新推荐文章于 2025-02-03 17:19:57 发布

阿_旭

最新推荐文章于 2025-02-03 17:19:57 发布

阅读量1.5w

点赞数 10

分类专栏：深度学习知识点文章标签：深度学习计算机视觉目标检测 arrow数据集 huggingface

本文链接：https://blog.csdn.net/qq_42589613/article/details/130357215

版权

深度学习知识点专栏收录该内容

98 篇文章

订阅专栏

该文介绍了如何利用HuggingFace的`load_dataset`函数下载并保存物体检测数据集，数据以Arrow格式存储，包含图像ID、图像（PIL对象）、宽度、高度和对象信息（如类别和边界框）。文章还展示了如何加载本地Arrow文件，以及如何显示和处理图像及边界框信息。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

1.数据下载方式：load_dataset

在这里插入图片描述

将数据集下载到本地：（此处下载的是一个物体目标检测的数据集）

from datasets import load_dataset
# 下载的数据集名称,
model_name = 'keremberke/plane-detection'
# 数据集保存的路径
save_path = 'datasets'
#name参数为full或mini，full表示下载全部数据，mini表示下载部分少量数据
dataset = load_dataset(model_name, name="full")  
dataset.save_to_disk(save_path)

huggingface可以把处理好的数据保存成下面的格式：
在这里插入图片描述
下载到本地后的数据结构如下：

2.加载本地的arrow文件：load_from_disk

from datasets import load_from_disk
path = './train' # train：表示上述训练集在本地的路径
dataset = load_from_disk(path)

数据以类似于表格的形式存储，包含以下列名：[‘image_id’, ‘image’, ‘width’, ‘height’, ‘objects’]

image_id: 图片id
image:存储的图像文件，是PIL对象：<PIL.JpegImagePlugin.JpegImageFile image mode=RGB size=1920x1080 at 0x29F8DFAA550>
width：图像宽度
height:图像高度
objects：图像其他相关信息，如标注的标签信息等

3.Arrow文件中结构说明

在这里插入图片描述

print(dataset[0])
运行结果如下：
"""
{'image_id': 11, 'image': <PIL.JpegImagePlugin.JpegImageFile image mode=RGB size=1920x1080 at 0x2D70D08C3D0>, 'width': 1920, 'height': 1080, 'objects': {'id': [9], 'area': [36993], 'bbox': [[383.0, 268.0, 209.0, 177.0]], 'category': [0]}}
"""

'objects’中的bbox表示标记框（x1,y1,width,height）；category：表示目标类别

显示图片：

img = dataset['image'][0]
plt.imshow(img)
plt.show()

显示标记框的示例代码如下：

# 取第一张图片
img = dataset['image'][0]
# 将PIL--RGB格式图片转化为CV--BGR图片
cv_img = cv2.cvtColor(numpy.asarray(img),cv2.COLOR_RGB2BGR)
box_info = dataset['objects'][0]['bbox'][0]
p1 = [int(box_info[0]),int(box_info[1])]
p2 = [int(box_info[0]+box_info[2]),int(box_info[1]+box_info[3])]
cv2.rectangle(cv_img, p1, p2, (0, 255, 0), 2)
cv2.imshow("img", cv_img)
cv2.waitKey(0)