Python 处理数据集，合并多个文件/随机划分为train/valid/test

对某个数据集进行处理，使之符合我的需要。

import os
import shutil
import random

# from xxx_dataset randomly choose images 
# to make a new data
# 60% train 
# 20% valid
# 20% test

path = '/remote-home/my/Database/xxx_dataset/all/images'
train = '/remote-home/my/Database/xxx_new/train'
valid = '/remote-home/my/Database/xxx_new/valid'
test = '/remote-home/my/Database/xxx_new/test'
dirpath = '/remote-home/my/Database/xxx_new/all'

filenames = os.listdir(path)
print(filenames)
print(len(filenames))

 os.listdir() 返回指定的文件夹下包含的文件/文件名

这里，我的images文件夹下还有A/B/C三个文件夹，因此结果为: 

['A', 'B', 'C']
3

一、将A, B, C三个文件夹中的内容合并且复制到给定路径：