ILSVRC2012数据集-图像分类

已于 2024-02-27 16:00:46 修改
阅读量913 收藏 20
点赞数 15
文章标签： pytorch
于 2024-02-23 15:41:43 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_42063746/article/details/136257665
版权

ILSVRC2012数据集-图像分类

Reference：
ILSVRC2012数据集(分类部分)简要介绍和初步处理
Imagenet 完整数据集下载
imagenet2012数据集下载
本文仅做学习记录使用，若侵权，留言秒删

ILSVRC2012数据集（分类部分）的简要介绍和初步处理

简介

即大名鼎鼎ImageNet2012竞赛的数据集，在图像分类数据集中属于最常用的跑分数据集和预训练数据集。

主要内容可以参考ILSVRC2012_devkit_t12.gz的readme.txt和中文翻译版

内容详解

下载的文件主要包括以下几个文件：

ILSVRC2012_img_train.tar
ILSVRC2012_img_val.tar
ILSVRC2012_img_test.tar
ILSVRC2012_devkit_t12.gz

前三个为图像压缩包，分别对应train / val / test三个子集。最后一个为数据说明相关文档。

下载地址可以参考imagenet2012数据集下载直接用迅雷下载，或参考Imagenet 完整数据集下载通过种子下载。

针对以上tar压缩包采用tarfiel库进行解压缩，代码如下：

"""
文件格式如下：
	your/path/to/ILSVRC2012
    	ILSVRC2012_img_train.tar
		ILSVRC2012_img_val.tar
		ILSVRC2012_img_test.tar
		ILSVRC2012_devkit_t12.gz
		
ilsvrc_dir = your/path/to/ILSVRC2012
"""

root, _, files = next(os.walk(ilsvrc_dir))
for file in files:
    # 获取当前处理的 tar 文件的路径
    tar_file_path = os.path.join(root, file)

    # 打开 tar 文件
    with tarfile.open(tar_file_path) as tar:
        # 获取 tar 文件中所有文件和文件夹的名称
        file_names = tar.getnames()

        # 获取 tar 文件的目录路径
        root_dir = os.path.dirname(tar_file_path)

        # 获取 tar 文件的基本名称
        base_name = os.path.basename(tar_file_path)

        # 创建用于提取内容的路径，使用 tar 文件的基本名称
        extract_dir = os.path.join(root_dir, base_name.split(".")[0])

        # 如果输出文件夹不存在，则创建
        os.makedirs(extract_dir, exist_ok=True)

        # 将 tar 文件中的每个文件/文件夹提取到输出文件夹中
        for file_name in file_names:
            tar.extract(file_name, extract_dir)

train数据集

ILSVRC2012_img_train.tar中有1000个tar压缩包，分别对应1000个类别。每个tar解压后得到对应类别的图片。可以使用一个简单的python程序或shell脚本将数据分别压缩至对应名称的文件夹中。将1000个tar解压至ILSVRC2012_img_train文件夹中，创建ILSVRC2012_img_train文件夹，将对应图片解压至相应的文件夹中。python脚本如下：

def unTrainTar(file_names,extract_dir):
    """
    将 tar 文件解压缩到指定文件夹。

    Args:
        tar_file_path (str): 要解压缩的 tar 文件的路径。

    Returns:
        None
    """
    # 获取分类名称
    for file_name in file_names:
        category_name = file_name.split(".")[0]

        # 构建分类 tar 文件路径和解压路径
        category_tar_path = os.path.join(extract_dir, file_name)
        category_extract_path = os.path.join(extract_dir, category_name)

        # 如果分类文件夹不存在，则创建
        os.makedirs(category_extract_path, exist_ok=True)

        # 打开分类的 tar 文件
        with tarfile.open(category_tar_path) as category_tar:
            img_names = category_tar.getnames()

            # 将分类的每个图片提取到分类文件夹中
            for img_name in img_names:
                category_tar.extract(img_name, category_extract_path)

        os.remove(category_tar_path)

Val数据集

ILSVRC2012_img_val.tar`中有50000张图片，并没有按照类别区分开，命名方式形如:

ILSVRC2012_val_00000001.JPEG
ILSVRC2012_val_00000002.JPEG
...
ILSVRC2012_val_00049999.JPEG
ILSVRC2012_val_00050000.JPEG

关于val数据集的标签，保存在ILSVRC2012_devkit_t12.gz中的data文件夹下的ILSVRC2012_validation_ground_truth.txt中，按照编号顺序每行用1-1000的数字表示一个类别。每个类别有50个样本。可以借助python中的scipy包访问mat文件的内容。scipy.io.loadmat

移动val数据的示例程序如下：

def moveValImg(val_dir, devkit_dir):
    """
    将验证图片移动到相应的文件夹中。

    Args:
        val_dir (str): 验证图片所在的文件夹路径。
        devkit_dir (str): ILSVRC2012_devkit_t12 目录的路径。

    Returns:
        None
    """
    # 加载 synset，val 图片的 ground truth 和 val 图片列表
    synset = scipy.io.loadmat(os.path.join(devkit_dir, 'data', 'meta.mat'))

    with open(os.path.join(devkit_dir, 'data', 'ILSVRC2012_validation_ground_truth.txt')) as ground_truth:
        # 读取 val 图片的 ground truth，每一行是一个数字，表示对应图片的类别标签
        labels = [int(line.strip()) for line in ground_truth.readlines()]

    # 获取 val 图片所在文件夹的路径以及该文件夹下所有文件的名称
    root, _, filenames = next(os.walk(val_dir))

    for filename in filenames:
        # 获取当前处理的 val 图片的编号，例如'ILSVRC2012_val_00000001.JPEG'中的 '00000001'
        val_id = int(filename.split('.')[0].split('_')[-1])

        # 获取对应 val 图片的类别标签，ILSVRC ID 从 1 开始，而 val_id 从 1 开始，因此需要减 1
        ILSVRC_ID = labels[val_id - 1]

        # 获取该 val 图片的类别名称 WIND（即 ImageNet 类别名称），通过 synset 加载的数据获取
        WIND = synset['synsets'][ILSVRC_ID - 1][0][1][0]

        # 输出当前处理的 val 图片的编号、类别标签和类别名称
        print("val_id:%d, ILSVRC_ID:%d, WIND:%s" % (val_id, ILSVRC_ID, WIND))

        # 构建该 val 图片应该移动到的目标文件夹路径
        output_dir = os.path.join(root, WIND)

        # 如果目标文件夹不存在，则创建
        if not os.path.isdir(output_dir):
            os.mkdir(output_dir)

        # 移动当前处理的 val 图片到目标文件夹中
        shutil.move(os.path.join(root, filename), os.path.join(output_dir, filename))

test数据

ILSVRC2012_img_test.tar总共有10万张测试图片，命名方式形如:

ILSVRC2012_test_00000001.JPEG
ILSVRC2012_test_00000002.JPEG
...
ILSVRC2012_test_00099999.JPEG
ILSVRC2012_test_00100000.JPEG

每个synset有100个测试图像，不公布测试图像的groud_truth。

开发工具集

除了说明性文件，比较有用的数据主要有val数据的标签文件data/ILSVRC2012_validation_ground_truth.txt和类别说明data/meta.mat。

synsets的信息如下：

synsets = 
	1x1 struct array with fields:
   	ILSVRC2012_ID
   	WNID
   	words
   	gloss
   	num_children
   	children
   	wordnet_height
   	num_train_images

这个struct数组每个字段的意义如下：

'ILSVRC2012_ID’是分配给每个synset的整数ID。所有的低等级synsets都被分配了1到1000之间的ID。所有高等级synsets的ID都大于1000。在“synsets”数组中，按照ILSVRC2012_ID对synsets进行排序，即synsets(i)。i.预测结果提交使用ILSVRC2012_ID作为synset标签。

'WNID’是一个synset的WordNet ID。它是ImageNet或WordNet中synset的唯一标识。训练图像的tar文件使用WNID命名。此外，它还用于命名单个训练图像。

'num_children’是该synset的子类数量。对于所有低等级synsets，它都是零;对于高等级synsets，它是非零的。

'children’是该synset的子类的ILSVRC2012_IDs组成的向量。

'wordnet_height’是指在完整ImageNet/WordNet层次结构中的到其子节点（子类）的最长路径的长度(完整ImageNet层次结构中的叶子节点的wordnet_height为0)。

层次结构根的ILSVRC2012_ID为1001，即synset“实体”。

完整代码

代码汇总如下：

import os
import tarfile

import scipy
import shutil



def unTrainTar(file_names,extract_dir):
    """
    将 tar 文件解压缩到指定文件夹。

    Args:
        tar_file_path (str): 要解压缩的 tar 文件的路径。

    Returns:
        None
    """
    # 获取分类名称
    for file_name in file_names:
        category_name = file_name.split(".")[0]

        # 构建分类 tar 文件路径和解压路径
        category_tar_path = os.path.join(extract_dir, file_name)
        category_extract_path = os.path.join(extract_dir, category_name)

        # 如果分类文件夹不存在，则创建
        os.makedirs(category_extract_path, exist_ok=True)

        # 打开分类的 tar 文件
        with tarfile.open(category_tar_path) as category_tar:
            img_names = category_tar.getnames()

            # 将分类的每个图片提取到分类文件夹中
            for img_name in img_names:
                category_tar.extract(img_name, category_extract_path)

        os.remove(category_tar_path)


def moveValImg(val_dir, devkit_dir):
    """
    将验证图片移动到相应的文件夹中。

    Args:
        val_dir (str): 验证图片所在的文件夹路径。
        devkit_dir (str): ILSVRC2012_devkit_t12 目录的路径。

    Returns:
        None
    """
    # 加载 synset，val 图片的 ground truth 和 val 图片列表
    synset = scipy.io.loadmat(os.path.join(devkit_dir, 'data', 'meta.mat'))

    with open(os.path.join(devkit_dir, 'data', 'ILSVRC2012_validation_ground_truth.txt')) as ground_truth:
        # 读取 val 图片的 ground truth，每一行是一个数字，表示对应图片的类别标签
        labels = [int(line.strip()) for line in ground_truth.readlines()]

    # 获取 val 图片所在文件夹的路径以及该文件夹下所有文件的名称
    root, _, filenames = next(os.walk(val_dir))

    for filename in filenames:
        # 获取当前处理的 val 图片的编号，例如'ILSVRC2012_val_00000001.JPEG'中的 '00000001'
        val_id = int(filename.split('.')[0].split('_')[-1])

        # 获取对应 val 图片的类别标签，ILSVRC ID 从 1 开始，而 val_id 从 1 开始，因此需要减 1
        ILSVRC_ID = labels[val_id - 1]

        # 获取该 val 图片的类别名称 WIND（即 ImageNet 类别名称），通过 synset 加载的数据获取
        WIND = synset['synsets'][ILSVRC_ID - 1][0][1][0]

        # 输出当前处理的 val 图片的编号、类别标签和类别名称
        print("val_id:%d, ILSVRC_ID:%d, WIND:%s" % (val_id, ILSVRC_ID, WIND))

        # 构建该 val 图片应该移动到的目标文件夹路径
        output_dir = os.path.join(root, WIND)

        # 如果目标文件夹不存在，则创建
        if not os.path.isdir(output_dir):
            os.mkdir(output_dir)

        # 移动当前处理的 val 图片到目标文件夹中
        shutil.move(os.path.join(root, filename), os.path.join(output_dir, filename))


def untar_ilsvrc(ilsvrc_dir, traintar='./traintar'):
    """
    从 traintar 中解压图像并保存到相应的文件夹中。

    Args:
        ilsvrc_dir (str): ILSVRC 数据集的目录路径。
        traintar (str): 存储训练图像的 tar 文件夹路径，默认为 './traintar'。

    Returns:
        None
    """
    # 遍历 ILSVRC 数据集目录中的所有文件
    root, _, files = next(os.walk(ilsvrc_dir))
    for file in files:
        # 获取当前处理的 tar 文件的路径
        tar_file_path = os.path.join(root, file)

        # 打开 tar 文件
        with tarfile.open(tar_file_path) as tar:
            # 获取 tar 文件中所有文件和文件夹的名称
            file_names = tar.getnames()

            # 获取 tar 文件的目录路径
            root_dir = os.path.dirname(tar_file_path)

            # 获取 tar 文件的基本名称
            base_name = os.path.basename(tar_file_path)

            # 创建用于提取内容的路径，使用 tar 文件的基本名称
            extract_dir = os.path.join(root_dir, base_name.split(".")[0])

            # 如果输出文件夹不存在，则创建
            os.makedirs(extract_dir, exist_ok=True)

            # 将 tar 文件中的每个文件/文件夹提取到输出文件夹中
            for file_name in file_names:
                tar.extract(file_name, extract_dir)

        # 根据当前处理的文件类型调用相应的函数进行进一步处理
        if "img_train" in file:
            # 对训练图片的 tar 文件进行解压缩，并保存到对应的文件夹中
            unTrainTar(file_names,extract_dir)
        if "img_val" in file:
            # 对验证图片进行处理，包括移动到相应文件夹中等操作
            val_dir = os.path.join(root, "ILSVRC2012_img_val")
            devkit_dir = os.path.join(root, "ILSVRC2012_devkit_t12/ILSVRC2012_devkit_t12")
            moveValImg(val_dir, devkit_dir)
        if "img_test" in file:
            # 对测试图片进行处理，目前未实现
            pass




if __name__ == "__main__":
    ilsvrc_dir = r"your/path/to/ILSVRC2012"

    untar_ilsvrc(ilsvrc_dir)
humeme
关注
  • 15
    点赞
  • 踩
  • 20
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
ILSVRC2012_devkit_t12.tar.gz
04-30
ImageNet2012分类数据集的一个说明文件，里面有图片对应的类别信息等
META-DATASET 数据集类别划分(ILSVRS2012)
VIEO
07-08 695
根据数据集介绍，以及数据集划分jsonmeta_dataset数据集划分为trian/val/test比例为712/158/130；以下为详细的VI版本，ILSVRC2012既IMAGENET-1K的数据集划分入下：TRAIN: VAL: TEST:
ILSVRC2012数据集介绍
写代码的高酱
02-20 6596
简介 这是ILSVRC2012开发工具包的文档。 如有问题、评论或bug报告，请联系ilsvrc2012@image-net.org。 数据集 本次比赛的图像数据有三种类型:来自ImageNet的训练数据(TRAINING)、特定于本次比赛的验证数据(VALIDATION)和特定于本次比赛的测试数据(TEST)。在三个数据源中没有重叠:训练、验证和测试。这三组数据都包含1000类对象的图像。...
【翻译】ILSVRC2012数据集介绍
qq_43205738的博客
01-18 2万+
Introduction 这是ILSVRC2012开发工具包的文档。 如有问题、评论或bug报告，请联系ilsvrc2012@image-net.org。 Data 本次比赛的图像数据有三种类型:来自ImageNet的训练数据(TRAINING)、特定于本次比赛的验证数据(VALIDATION)和特定于本次比赛的测试数据(TEST)。在三个数据源中没有重叠:训练、验证和测试。这三组数据都包含100...
ILSVRC2012数据集(分类部分)简要介绍和初步处理
热门推荐
飘然若尘的博客
05-30 2万+
ILSVRC2012数据集(分类部分)简要介绍和初步处理 简介 即大名鼎鼎ImageNet2012竞赛的数据集，在图像分类数据集中属于最常用的跑分数据集和预训练数据集。 主要内容可以参考ILSVRC2012_devkit_t12.gz的readme.txt和中文翻译版 内容详解 下载的文件主要包括以下几个文件： ILSVRC2012_img_train.tar ILSVRC2012_img_va...
imagenet2012数据集及标签.rar
06-10
imagenet2012数据集及标签,含有50000个样本共1000类数据，其中图片数据太大，压缩包中为下载的BT文件，通过迅雷下载即可，标签数据已经下载好在压缩包中，解压就可以使用
颜色分类leetcode-keras_imagenet:从头开始训练KerasImageNet(ILSVRC2012)图像分类模型的代码
07-06
(ILSVRC2012) 图像分类模型的代码。 亮点 #1 ：我使用 和 来加速训练管道的数据摄取。 通过这种方式，我可以对数据预处理（包括在线数据增强）任务进行多重处理，并最大限度地利用 GPU。 亮点 #2 ：除了数据增强...
pytorch-ImageNet-CIFAR-COCO-VOC-training:ImageNet（ILSVRC2012）CIFAR100COCO2017VOC2007 + VOC2012数据集的训练示例和结果图像分类对象检测包括ResNetEfficientNetVovNetDarkNetRegNetRetinaNetFCOSCenterNetYOLOvv3
04-01
我的志虎专栏 更新日志 2020.12.1： 修改RetinaNet / FCOS损失计算方法，减少40％的训练时间并改善模型性能。 添加CenterNet多尺度培训方法... 要求 平台：Ubuntu 18.04.4 1.torch==1.4.0 2.torchvision==0.5.0 ...pip
ILSVRC_2017.tar.gz
04-24
这个是ImageNet2012工具包，tensorflow官方指定图像分类模型唯一评测工具包！！！亲测可用的。
课题用到数据集以及处理数据集的函数.rar
07-02
用于图像分类和目标检测两个任务的基准测试，主要由VOC 2007和VOC 2012两部分组成，每部分包含20个常见类别。前者包含5011张训练和验证图像，4952张测试图像；后者包含11540张训练和验证图像，10991张测试图像。 2、...
Colab/PyTorch - 006 Mask RCNN Instance Segmentation
lida2003的专栏
05-17 668
总的来说，简单应用通用模型来解决一些应用类问题，并不复杂。难点在于有效数据的收集，标记，以及特殊应用模型的建模以及学习。好在，后面我们将会面对的实际问题，都有比较好的算法，比如：Yolo算法等。
深度学习之基于Pytorch+PyQt5+ResNet手写数字识别
qq1744828575的博客
05-20 208
一、项目目标该项目的核心目标是开发一个能够准确识别手写数字的系统。通过使用Pytorch深度学习框架和ResNet神经网络架构，系统可以学习从手写数字图像中提取特征并进行分类，实现对手写数字的自动识别。二、项目组成深度学习模型：项目采用Pytorch深度学习框架构建基于ResNet的神经网络模型。ResNet（残差网络）是一种先进的神经网络架构，通过引入残差连接解决了深度神经网络在训练过程中可能出现的梯度消失或梯度爆炸问题，使得网络可以更加深入地学习数据的特征。
pytorch使用gpu训练模型
最新发布
njh1147394013的博客
05-20 109
安装gpu版本pytorch
深度学习之基于Pytorch+PyQt5+VGG手写数字识别系统
qq1744828575的博客
05-20 633
一、项目背景与目标随着人工智能技术的快速发展，手写数字识别技术已经广泛应用于各个领域，如金融、教育、医疗等。为了提高手写数字识别的准确性和效率，本项目采用深度学习技术，特别是Pytorch深度学习框架，结合PyQt5构建图形用户界面（GUI），并使用VGG（Visual Geometry Group）神经网络模型，实现一个高效、准确的手写数字识别系统。二、系统组成Pytorch深度学习框架：Pytorch是一个开源的深度学习框架，具有简单易用、灵活高效的特点。
深度学习之基于Pytorch的昆虫分类识别系统
qq1744828575的博客
05-17 467
一、项目背景昆虫分类识别是生态学、农业和生物多样性保护等领域的重要任务。然而，传统的昆虫分类方法依赖于专家的经验和知识，效率低下且容易出错。随着深度学习技术的快速发展，基于卷积神经网络（CNN）的图像分类方法被广泛应用于昆虫分类识别中。本项目旨在利用PyTorch深度学习框架，构建一个高效、准确的昆虫分类识别系统，实现对昆虫图像的自动分类和识别。二、技术组成PyTorch框架：PyTorch是一个开源的深度学习框架，具有简洁易用的API和强大的计算能力。
深度学习：Pytorch 与 Tensorflow 的主要区别（2）
冷冻工厂
05-17 801
虽然理论上可以在任何一个框架上部署神经网络的概念，但最终的输出结果会因框架的不同而有所差异。而 TensorFlow 虽然也支持 GPU 加速，但它使用的是内部的 GPU 加速机制，因此模型的训练时间并不受我们选择的框架影响。对于刚接触这一领域的你来说，深度学习是计算机科学中的一个分支，它通过模仿人脑结构的人工神经网络，赋予计算机以类似人类的智能，使其能够解决现实世界的问题。你需要付出更多的努力。在 PyTorch 框架中，神经网络是通过类的形式来定义的，所需的层是通过 torch.nn 模块导入的。
pytorch文本分类（四）模型框架（模型训练与验证）
qq_33489955的博客
05-20 559
本文是在原本闯关训练的基础上总结得来，加入了自己的理解以及疑问解答（by GPT4） 选定了模型框架后，需要对神经网络模型进行训练，主要有3个步骤：接下来详细介绍这3个步骤。构建模型结构，主要有神经网络结构设计、激活函数的选择、模型权重如何初始化、网络层是否批标准化、正则化策略的设定。 由于在关卡四中介绍了神经网络结构设计和激活函数的选择，这里不过多介绍，下面简单介绍下权重初始化，批标准化和正则化策略。权重初始化 权重参数初始化可以加速模型收敛速度，影响模型结果。常用的初始化方法有：批标准化 batch n
ilsvrc 2012 数据集
11-01
ILSVRC (ImageNet Large Scale Visual Recognition Challenge) 2012 数据集是一个经典的计算机视觉竞赛数据集，由斯坦福大学创建。该数据集包含了1.2百万张图像，其中训练集包括120万张图像，验证集包括5万张图像，测试集包括15万张图像。 ILSVRC 2012 数据集的目标是让计算机具备识别和分类图像的能力。数据集中的图像涵盖了1000个不同的类别，包括物体、动物、植物等各种常见事物。每个类别包含约1000张不同的图像，图像的分辨率也各不相同。 该数据集给计算机视觉领域的研究者和开发者提供了测试和评估算法的标准基准。研究者们可以使用训练集进行模型的训练和优化，然后使用验证集进行模型的调优和选择。最后，使用测试集来评估模型的性能和准确度。 ILSVRC 2012 数据集的发布推动了计算机视觉领域的发展，吸引了大量的研究者投入到该领域的研究中。通过该数据集，研究者们可以提出新的图像分类和目标识别算法，并将其与其他研究进行比较和竞争。 ILSVRC 2012 数据集的重要性在于提供了一个统一的基准，为计算机视觉研究的发展提供了一个明确的方向。它促使了算法的不断迭代改进，为图像识别技术的发展奠定了基础。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值