Kaggle 图像分类任务数据处理--格式转换

最新推荐文章于 2023-11-24 19:14:23 发布

一摩尔自由

最新推荐文章于 2023-11-24 19:14:23 发布

阅读量841

点赞数 1

分类专栏：图像处理工具包 python

本文链接：https://blog.csdn.net/barry_j/article/details/109009848

版权

本文介绍如何将Kaggle上一种特定格式的图像分类数据集进行转换，以便每个类别图像独立存放在各自文件夹下。原始数据包含一个训练图像文件夹和一个包含图像标签的CSV文件。目标是通过代码实现数据格式转换，便于后续的图像处理和模型训练。

摘要由CSDN通过智能技术生成

背景

kaggle上的原始数据集格式是训练图片中只有一个文件夹保存了各个类的图像数据，图像标签存在train_label.csv文件中，图像的名称ID和Label一一对应，文件目录格式如下：

--data

----train_image

----train_label.csv

目标

将kaggle的数据集格式转换成每一类图像数据都存在该类的文件夹下面

代码：

# -*- coding: utf-8 -*-
# !/usr/bin/python
# data-preprocessing.py

import os, shutil

import glob
import csv
import numpy as np
import pandas as pd

def mycopyfile(srcfile, dstfile):
    if not os.path.isfile(srcfile):
        print("%s not exist!" % (srcfile))
    else:
        fpath, fname = os.path.split(dstfile)  # 分离文件名和路径
        if not os.path.exists(fpath):
            os.makedirs(fpath)  # 创建路径
        shutil.copyfile(srcfile, dstfile)  # 复制文件
        print("copy %s -> %s" % (srcfile, dstfile))

# srcfile = '/Users/xxx/git/project1/test.sh'
# dstfile = '/Users/xxx/tmp/tmp/1/test.sh'
#
# mycopyfile(srcfile, dstfile)