数据集处理（三）——打乱数据集

最新推荐文章于 2024-04-07 14:08:18 发布

肺叶回收站

最新推荐文章于 2024-04-07 14:08:18 发布

阅读量1.9k

点赞数 1

分类专栏：数据集处理 Python 文章标签： python 机器学习

本文链接：https://blog.csdn.net/weixin_47954807/article/details/114960029

版权

数据集处理同时被 2 个专栏收录

3 篇文章 0 订阅

订阅专栏

Python

3 篇文章 1 订阅

订阅专栏

*完整代码请滑到文章末尾。

1 个目录

一、问题描述
二、解决思路
三、完整代码
四、参考文章

一、问题描述

目前已有的数据集包括网上已有的数据集和线下拍摄的数据集，需要进行汇总。同时，为了加强模型的泛化能力，需要打乱数据集。

二、解决思路

已有的数据集包括42088个文件。可以生成42088个不同的随机数，作为文件夹的编号。具体代码如下¹：

resultList = []  # 用于存放结果的List
A = 50000000  # 最小随机数
B = 50042088  # 最大随机数
COUNT = 42088
# 利用Python中的randomw.sample()函数实现
resultList = random.sample(range(A, B + 1), COUNT);  # sample(x,y)函数的作用是从序列x中，随机选择y个不重复的元素。
print(resultList)  # 打印结果

数据集有四五万个文件夹，每个文件夹内有30~40张图片，数据量颇大。如果将读取文件后重新写入，则需要耗费过多的时间。故最终考虑修改文件夹的名字，代码如下：

#path：文件路径
#filename：修改前的文件名
#n：随机数序号（和修改后的文件名有关）
def rename(path,filename,n):
    count = n
    folderlist=os.listdir(path)
    for folder in folderlist:
        folder=str(folder)
        nowPath=path+"\\"+folder

        targetfolder=str(resultList[count])
        targetPath = path +"\\"+ targetfolder
        os.rename(nowPath,targetPath)
        print(folder+" "+targetfolder)
        count+=1
    return count

三、完整代码

# coding=gbk
import os
import random

def rename(path,filename,n):
    count = n
    folderlist=os.listdir(path)
    for folder in folderlist:
        folder=str(folder)
        nowPath=path+"\\"+folder

        targetfolder=str(resultList[count])
        targetPath = path +"\\"+ targetfolder
        os.rename(nowPath,targetPath)
        print(folder+" "+targetfolder)
        count+=1
    return count

resultList = []  # 用于存放结果的List
A = 50000000  # 最小随机数
B = 50042088  # 最大随机数
COUNT = 42088
n=0
# 利用Python中的randomw.sample()函数实现
resultList = random.sample(range(A, B + 1), COUNT);  # sample(x,y)函数的作用是从序列x中，随机选择y个不重复的元素。
print(resultList)  # 打印结果

#文件夹分布在多个文件，逐个输入。输出的文件夹首尾相接。
path="D:\\train"
print(path)
a=rename(path,resultList,n)

path="D:\\val"
print(path)
b=rename(path,resultList,a)