数据集txt格式划分为多个txt文件夹

简单记录一下数据标签txt格式划分为多个文件,通常我们标注号的标签,都是在一个txt文件夹中,我们训练的时候需要把txt中的标签按照一定的比例划分为多个文件,这里贴出划分为三个文件的代码,如果你需要划分为两个文件,那么可以将划分好的另外的一个文件复制粘贴到你需要的文件中。代码如果下:

import os
import random
l_train=[]
l_val=[]
l_test=[]

# 读取文件中的内容,并将其打乱写入列表FileNameList
def ReadFileDatas(original_filename):
    file=open(original_filename,'r+')
    FileNameList=file.readlines()
    random.shuffle(FileNameList)
    file.close()
    print("数据集总量:", len(FileNameList))
    return FileNameList
#将数据集随机划分
def TrainValTestFile(FileNameList):
    i=0
    j=len(FileNameList)
    for line in FileNameList:
        if i<(j*0.6):
            i+=1
            l_train.append(line)
        elif i<(j*0.8):
            i+=1
            l_val.append(line)
        else:
            i+=1
            l_test.append(line)
    print("总数量:%d,此时创建train,val,test数据集"%i)
    return l_train,l_val,l_test
#将获取到的各个数据集的包含的文件名写入txt中
def WriteDatasToFile(listInfo, new_filename):
    file_handle = open(new_filename,'w')
    for str_Result in listInfo:
        file_handle.write(str_Result)
    file_handle.close()
    print('写入 %s 文件成功.' % new_filename)
if __name__ == "__main__":
      listFileInfo = ReadFileDatas('D:\\Software\\xx\\tt\\test1.txt') # 读取文件
      l_train,l_val,l_test=TrainValTestFile(listFileInfo)
      WriteDatasToFile(l_train, 'D:\\Software\\xx\\train.txt')
      WriteDatasToFile(l_val, 'D:\\Software\\xx\\val.txt')
      WriteDatasToFile(l_test, 'D:\\Software\\xx\\test.txt')

  • 1
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
要将不同文件夹的数据划分为训练集和测试集,你可以按照以下步骤进行: 1. 遍历每个文件夹,并将文件夹路径存储在一个列表。 2. 对于每个文件夹,可以使用随机抽样的方式将数据划分为训练集和测试集。你可以自定义训练集和测试集的比例,例如 80% 的数据作为训练集,20% 的数据作为测试集。 3. 对于每个文件夹,可以使用文件操作库(如Python的`os`库)来获取文件列表。 4. 针对每个文件夹文件列表,可以使用随机抽样的方式将文件分配到训练集和测试集。你可以使用随机数生成器来生成随机索引或者使用现成的库函数,如`random.sample()`。 5. 将训练集和测试集的文件路径分别存储在两个不同的列表。 下面是一个示例代码片段,演示如何将不同文件夹的数据划分为训练集和测试集: ```python import os import random # 文件夹路径列表 folder_paths = ['folder1', 'folder2', 'folder3'] # 训练集和测试集比例 train_ratio = 0.8 # 存储训练集和测试集文件路径的列表 train_files = [] test_files = [] # 遍历每个文件夹 for folder_path in folder_paths: # 获取文件列表 file_list = os.listdir(folder_path) # 随机抽样,划分训练集和测试集 train_size = int(len(file_list) * train_ratio) train_samples = random.sample(file_list, train_size) test_samples = list(set(file_list) - set(train_samples)) # 构建训练集和测试集文件路径列表 train_files.extend([os.path.join(folder_path, file) for file in train_samples]) test_files.extend([os.path.join(folder_path, file) for file in test_samples]) # 打印训练集和测试集文件路径列表 print("Train Files:") print(train_files) print("Test Files:") print(test_files) ``` 这个示例代码可以根据你的需求进行修改和扩展,例如你可以添加更多的文件夹路径,调整训练集和测试集的比例等。希望对你有所帮助!如果还有其他问题,请继续提问。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值