python深度学习图像处理CSV文件分类标签图片到各个文件夹

该博客介绍了如何使用Python处理CSV文件,根据标签将图像分类到不同的文件夹中,包括训练集、验证集和测试集。首先,通过读取CSV文件获取图片路径和标签,然后创建函数将数据重新组织到新的文件结构中,以便于深度学习模型的训练。整个过程涉及到数据预处理、文件操作和数据集划分。
摘要由CSDN通过智能技术生成

python深度学习图像处理CSV文件分类标签图片到各个文件夹

最近在学习沐神的深度学习课程,由于一直用的C++,python快忘光了,下面是用python处理CSV数据分类文件夹,主要代码参考李沐的深度学习代码
以一个树叶分类的数据集作例子,数据集在这儿下载简单讲解一下怎样用python将数据分类存入相应文件夹
我们下载的数据集为下图形式。images中为训练集和测试集图片,其他分别有test,train,和一个提交的模板三个csv文件
在这里插入图片描述images长这样在这里插入图片描述处理后会是这种,每一类的图片放在一个文件夹中在这里插入图片描述
在这里插入图片描述

导入库

import os
import math
import shutil
import collections
import torch
import torchvision

读取csv文件

读取train.csv

将文件位置存储在

data_dir = '/home/aries/d2l-zh/pytorch/classify-leaves'
fname = os.path.join(data_dir, 'train.csv')

采用with打开文件

with open(fname, 'r') as f:
        lines = f.readlines()[1:]  #从1开始,,去掉跳过文件头行 (列名)

line的内容如下
在这里插入图片描述lines中有图片的地址和对应的标签。
我们将lines中每一个数据集去掉空格,并分开每个,列表存入,最后放在一个字典中返回(字典最后可以根据图片地址找到相应的标签)
下面是整个的代码

def read_csv_train(fname):
    """读取 `fname` 来给标签字典返回一个文件名。"""
    with open(fname, 'r') as f:
        # 跳过文件头行 (列名)
        lines = f.readlines()[1:]
    tokens = [l.rstrip().split(',') for l in lines]  #去掉空格,并分开每个训练图片,列表存入
    return dict(((name, label) for name, label in tokens)) #字典返回返回
labels = read_csv_train(os.path.join(data_dir, 'train.csv'))

labels的内容如下在这里插入图片描述读取test.csv

同train一样with读取csv文件,但是test的内容和train不一样,里面没有标签,如下

fname = os.path.join(data_dir, 'test.csv')
    with open(fname, 'r') as f:
        # 跳过文件头行 (列名)
        lines = f.readlines()[1:]

在这里插入图片描述所以建立read_csv_test函数是只需要返回列表就行了

def read_csv_test(fname):
    with open(fname, 'r') as f:
        # 跳过文件头行 (列名)
        lines = f.readlines()[1:]
    tokens = [l.rstrip().split(',') for l in lines]
    return tokens
test_data = read_csv_test(os.path.join(data_dir, 'test.csv'))

test_data内容如下:
在这里插入图片描述

读取并分类图片文件分为测试集、训练集、验证集、和train_valid

train_valid这里面包含分开的训练集和验证集(就是最开始训练集),最后参数调好了,用这个训练

假设验证集的个数为10%

valid_ratio = 0.1

下面先把整个程序贴上

reorg_train_valid(data_dir, labels, test_data, valid_ratio)
def copyfile(filename, target_dir):
    """将文件复制到目标目录。"""
    os.makedirs(target_dir, exist_ok=True) #exist_ok:是否在目录存在时触发异常。如果exist_ok为False(默认值),
    															#则在目标目录已存在	的情况下触发FileExistsError异常;
                                 					   #如果exist_ok为True,则在目标目录已存在的情况下不会触发FileExistsError异常。
    shutil.copy(filename, target_dir)#复制文件内容
#@save
def reorg_train_valid(data_dir, labels, test_data, valid_ratio):
    # 训练数据集中示例最少的类别中的示例数
    n = collections.Counter(labels.values()).most_common()[-1][1]#[-1] 是最少的类别,如果[0]是最大的类别; 
                                                            #最后的[1]则是返回值,如果是[0] 则返回个数
    # 验证集中每个类别的示例数
    n_valid_per_label = max(1, math.floor(n * valid_ratio))
    label_count = {}
    for train_file in os.listdir(os.path.join(data_dir, 'images')):
        fname = os.path.join(data_dir, 'images/', train_file)
        if ['images/' + train_file] in test_data:  #如果图片地址在测试集的列表中
            copyfile(
            fname,
            os.path.join(data_dir, 'train_valid_test', 'test', 'unknown'))#将测试集也一一复制过来#测试集不知道标签,即为unknow
        else :  #if labels.__contains__('images/' + train_file)如果图片的地址在训练集的字典中
            label = labels['images/' + train_file]#取文件名,处理后的值作为labels的索引,即key值
            copyfile(
                fname,
                os.path.join(data_dir, 'train_valid_test', 'train_valid', label))#复制到train_valid中,
            if label not in label_count or label_count[label] < n_valid_per_label:
                copyfile(
                    fname,
                    os.path.join(data_dir, 'train_valid_test', 'valid', label))#复制到交叉验证集的文件中
                label_count[label] = label_count.get(label, 0) + 1#字典中get返回指定Key的值,如果key不存在则返回后面的参数,即0
            else:
                copyfile(
                    fname,
                    os.path.join(data_dir, 'train_valid_test', 'train', label))#复制到train中
        
    return n_valid_per_label

通过执行上面的程序我们就可以得到相应的分类好的文件夹train_valid_test
其中包含以下4个文件夹
在这里插入图片描述train中每个标签的相应图片已经分好了(验证集valid,train_valid_test也一样)
在这里插入图片描述在这里插入图片描述文章代码参考李沐的深度学习的代码

您可以使用Pythoncsv模块和os模块来读取CSV文件并将其分类到相应文件夹中。以下是一个示例代码: ```python import csv import os def classify_csv_to_folders(csv_file, folder_mapping): with open(csv_file, 'r') as file: reader = csv.reader(file) next(reader) # 跳过标题行 for row in reader: filename = row[0] # 假设CSV中的第一列是文件名 category = row[1] # 假设CSV中的第二列是分类 if category in folder_mapping: folder = folder_mapping[category] destination_folder = os.path.join(os.getcwd(), folder) if not os.path.exists(destination_folder): os.makedirs(destination_folder) source_path = os.path.join(os.getcwd(), filename) destination_path = os.path.join(destination_folder, filename) os.rename(source_path, destination_path) print(f"Moved {filename} to {destination_folder}") else: print(f"Invalid category: {category}") # 定义分类文件夹的映射关系 folder_mapping = { 'category1': 'folder1', 'category2': 'folder2', 'category3': 'folder3' } # 读取CSV文件分类到相应文件夹 csv_file = 'data.csv' # 替换为您的CSV文件路径 classify_csv_to_folders(csv_file, folder_mapping) ``` 在上述代码中,您需要将`csv_file`变量替换为您的CSV文件路径,并根据自己的需求定义分类文件夹的映射关系`folder_mapping`。然后,代码将遍历CSV文件中的每一行,将文件移动到相应的文件夹中。 请注意,这段代码假设CSV文件的第一列是文件名,第二列是分类。您可以根据实际情况进行修改。此外,代码还会检查分类是否在`folder_mapping`中定义,如果不在,则会输出相应的警告信息。
评论 4
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Aries_Ro

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值