matlab划分训练集验证和测试集代码_数据集划分为训练集和测试集并生成标签--matlab代码...

最近做图像分类，数据集的整理真的好费时间，找到一个代码，非常好使，推荐给大家。

实现的功能是，将一个文件夹下的每个子文件夹的一半数据分割出来并保存，生成相应的train.txt,test.txt。

对代码做了轻微的修改

原网址：https://www.cnblogs.com/yymn/articles/4615372.html

自己弄数据集，真是非一般的体验呀。虽然说这样算是正在意义上经历一个完整的项目，被迫学习了很多数据处理的问题。但是搞数据真是太蛋疼了。

想了很多方法，但最后发现其实自己整理的数据，最合理的分配训练集和测试集的方法。就是先把数据全部整到一起，然后按一定比例从中随机选出训练集和测试集(这两个肯定是不能重复的)，比如这里的25%作为测试集，75%作为训练集。

编写这个程序一开始，主要是有些函数不知道怎么用。编这程序是发现了即使是matlab编写程序都要用disp输出一些信息，这样更方便查看程序运行进度。其余就是新学习了一些函数，再把之前编写的程序合起来。

clear;close all;clc;

%%

%程序实现的功能

%1、把指定路径的数据(已按类别放置在不同的文件夹中)，随机的把其中的75%的划分为训练集，25%划分为测试集

%2、训练集按类别放在指定路径的train文件夹中，测试集按类别放在指定路径的val文件夹中

%3、在train和val文件夹的同级文件夹按照caffe需求生成对应的train.txt和val.txt的label

%%

%程序中用到的之前不清楚的函数如下

%1)disp：用来在界面上显示一些必要的信息，方便查看程序进度。disp(' ')可以起到在界面上换行显示的作用

%2)str2double：带起之前一直使用的str2num,matlab的提示是这样函数效率更高。而且这两个函数输出的数据类型都是double类型。

%3)randperm(n)：生成一个1到n直接的随机数列

%4)copyfile(a,b)：把文件a复制到路径b，路径b带有最后的\符号

%

%

%

%%

disp('程序开始执行');

%%%%%%需要更改的参数(即两个路径)%%%%%%%%%%%%%%%%%%%%%%%%%%

pathSource='G:\遥感数据库\1\AID';%AID文件夹下有30个文件夹

pathDestination='G:\遥感数据库\deal';%保存分割后数据集以及train.txt和test.txt

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

%在目标路径创建train、val文件夹

pathCreDirTrain=[pathDestination,'\','train','\'];

mkdir(pathCreDirTrain);

pathCreDirVal=[pathDestination,'\','val','\'];

mkdir(pathCreDirVal);

%读取文件夹列表，这种方式读取会保留原文件.(在结构体中第一个)和上一层目录..(在结构体第二个)

dirSourceList=dir(pathSource);

countSourceList=length(dirSourceList);%文件夹个数

%拷贝数据到目标路径

for numDirList=3:countSourceList

%if(length(dirSourceList(numDirList).name)>=2)%根据这个过滤掉在此文件夹可能的train.txt、val.txt、count.txt文件

%continue;

%end

fileName=dir([pathSource,'\',dirSourceList(numDirList).name]);%读取子文件夹中的图片

%统计子文件夹中的文件个数

fileSum=length(fileName);

fileNum=fileSum-2;%为了生成对应于读取的从3开始的文件，只能先减去2，然后生成随机数后加上2

disp(' ');%加入一个空格，作为在界面显示中一个类似于换行的工具

%在程序中增加一些输出信息，方便查看数据内容

disp(['原始数据子文件夹',num2str(dirSourceList(numDirList).name),'中有图片：',num2str(fileNum)]);

%由于matlab读取文件的规则，在文件列表中肯定最前面会有.和..这两个文件

%所以想到先生成fileSum-2范围内的随机数，然后再各项加2，就为真正要找的随机数

numFileList=randperm(fileNum);

numFileList=numFileList+2;

partitionPosition=round(fileNum/2);%这是通过四舍五入确定的分割位置。这是划分数据的比例，2是按一半划分，如果是4的话，'先拷贝val(前25%)后拷贝train(后75%)'

%在程序中增加一些输出信息，方便查看数据内容

% disp(['先拷贝val(前25%)后拷贝train(后75%)']);

%%

%拷贝测试集数据val

%在程序中增加一些输出信息，方便查看程序执行进度

disp(['在val文件夹下创建子文件夹',num2str(dirSourceList(numDirList).name)]);

disp(['拷贝',num2str(partitionPosition),'张图片到val文件夹下子文件夹',num2str(dirSourceList(numDirList).name),'中']);

%不知道这种拷贝东西到别的地方，是先拷贝数据量比较多的部分，还是数据量比较少的部分，这有什么讲究。

%在目标val文件夹中，创建对应的子文件夹

pathCreValDir=[pathCreDirVal,dirSourceList(numDirList).name,'\'];

mkdir(pathCreValDir);

%在程序中增加一些输出信息，方便查看程序执行进度

disp(['复制测试数据到val子文件夹',num2str(dirSourceList(numDirList).name),'中']);

%复制图片到指定路径

for picNum=1:partitionPosition%由于是要读取numFileList中生成的随机数据，所以从1开始

copyfile([pathSource,'\',dirSourceList(numDirList).name,'\',fileName(numFileList(picNum)).name], ...

pathCreValDir);

end

%%

%拷贝训练集数据train

%在程序中增加一些输出信息，方便查看程序执行进度

disp(['在train文件夹下创建子文件夹',num2str(dirSourceList(numDirList).name)]);

disp(['拷贝',num2str(fileNum-partitionPosition),'张图片到train文件夹下子文件夹',num2str(dirSourceList(numDirList).name),'中']);

%在目标train文件夹中，创建对应的子文件夹

pathCreTrainDir=[pathCreDirTrain,dirSourceList(numDirList).name,'\'];

mkdir(pathCreTrainDir);

%在程序中增加一些输出信息，方便查看程序执行进度

disp(['复制训练数据到Train子文件夹',num2str(dirSourceList(numDirList).name),'中']);

%复制图片到指定路径

for picNum=partitionPosition+1:fileNum%由于是要读取numFileList中生成的随机数据，所以从1开始

copyfile([pathSource,'\',dirSourceList(numDirList).name,'\',fileName(numFileList(picNum)).name], ...

pathCreTrainDir);

end

end

disp('数据拷贝完毕');

%%

%生成label

disp('开始生成label');

%考虑到最好写个程序，能够一步完整所有操作。所以在这程序下面加上生成label的功能

%在上面的程序中，已经有变量pathCreDirTrain(目标Train的路径)、pathCreDirVal(目标Val的路径)

%先生成train文件夹中的label

disp('开始生成trainlabel');

dirTrainList=dir(pathCreDirTrain);%读取文件夹列表，这种方式读取会保留原文件.(在结构体中第一个)和上一层目录..(在结构体第二个)

countTrainList=length(dirTrainList);%文件夹个数

fid = fopen([pathDestination,'\','train.txt'], 'w');%打开train文件夹时，对应的文本文件

for numList=3:countTrainList%文件夹从3开始

%if(length(dirTrainList(numList).name)>=2)%根据这个过滤掉在此文件夹可能的train.txt文件

%continue;

%end

fileName=dir([pathCreDirTrain,'\',dirTrainList(numList).name]);%读取子文件夹

fileSum=length(fileName);%统计子文件夹中的文件个数

for fileNum=3:fileSum%文件从3开始

fprintf(fid,'%s', [dirTrainList(numList).name,'/',fileName(fileNum).name]);%输入：子文件/图片名称

fprintf(fid,'%s', ' ');%空格间隔符

fprintf(fid,'%d', numList);%加入label,即文件夹名称

fprintf(fid,'\n');%换行

end

end

fclose(fid);%关闭文本文件

fclose('all');%关闭所有连接，防止没关掉的情况

disp('trainlabel生成完毕');

%在上面的程序中，已经有变量pathCreDirTrain(目标Train的路径)、pathCreDirVal(目标Val的路径)

%先生成train文件夹中的label

disp('开始生成vallabel');

dirValList=dir(pathCreDirVal);%读取文件夹列表，这种方式读取会保留原文件.(在结构体中第一个)和上一层目录..(在结构体第二个)

countValList=length(dirValList);%文件夹个数

fid = fopen([pathDestination,'\','val.txt'], 'w');%打开train文件夹时，对应的文本文件

for numList=3:countValList%文件夹从3开始

%if(length(dirValList(numList).name)>=2)%根据这个过滤掉在此文件夹可能的train.txt文件

% continue;

%end

fileName=dir([pathCreDirVal,'\',dirValList(numList).name]);%读取子文件夹

fileSum=length(fileName);%统计子文件夹中的文件个数

for fileNum=3:fileSum%文件从3开始

fprintf(fid,'%s', [dirValList(numList).name,'/',fileName(fileNum).name]);%输入：子文件/图片名称

fprintf(fid,'%s', ' ');%空格间隔符

fprintf(fid,'%d', numList);%加入label,即文件夹名称

fprintf(fid,'\n');%换行

end

end

fclose(fid);%关闭文本文件

fclose('all');%关闭所有连接，防止没关掉的情况

disp('vallabel生成完毕');

结果如下：