UCF101数据集处理
在复现动作识别类的算法时,常需要用到数据集。ucf101就是其中一个。
之前复现代码时所用的ucf101数据集是直接将原数据集中的视频处理成图片。数据集目录如下:
UCF101/ApplyEyeMakeup/v_ApplyEyeMakeup_g01_c01/img_00001.jpg
(此时通过train.txt和test.txt两个文本文档来读取数据集信息。两个文本中有三列内容,第一列是路径,第二列是视频的帧数,第三列是视频的类别)
这次代码复现则需要将整个数据集分成两个部分 训练集 和测试集。那么数据集目录需要转换成以下形式:
UCF101/train/ApplyEyeMakeup/v_ApplyEyeMakeup_g01_c01/img_00001.jpg
UCF101/test/ApplyEyeMakeup/v_ApplyEyeMakeup_g01_c02/img_00001.jpg
因为手动复制文件夹过于麻烦,所以采用python编程来完成。主要思想就是通过读取上面所说的train.txt和test.txt文件,然后将对应的文件夹放入train、test文件夹下面。代码如下:
#coding:utf-8
import os,shutil
#移动文件夹的函数,将一个文件夹下所有文件移动到另一个文件夹下
def move_file(orgin_path,moved_path):
dir_files=os.listdir(orgin_path) #得到该文件夹下所有文件
for file in dir_files:
file_path = os.path.join(orgin_path,file) #路径拼接成绝对路径
if os.path.isfile(file_path): #如果是文件,则打印这个文件路径
if file.endswith(".jpg"):
if os.path.exists(os.path.join(moved_path,file)):
print("有重复文件,跳过,不移动")
continue
else:
shutil.move(file_path, moved_path)
if os.path.isdir(file_path): #如果是目录,就递归子目录
moved_path=os.path.join(moved_path,file)
if not os.path.exists(moved_path):
os.mkdir(moved_path)
move_file(file_path,moved_path)
print("移动文件成功!")
list_file='yourpath/ucf101test02.txt' #存有train/test.txt文件的路径
root='yourpath/UCF101/origin' #原数据集的目录
destinate='yourpath/UCF101/test' #目标位置的目录
tmp = [x.strip().split(',') for x in open(list_file)] #将.txt文档中的内容以逗号分隔
class_ = sorted(os.listdir(root))
for c in class_:
class_path = os.path.join(destinate, c)
#在目标位置下建好分类级的文件夹,如/mnt/data/public/UCF101/testApplyEyemakeup,
#因为不可以越过一个不存在的目录,新建更深层的目录
if not os.path.exists(class_path):
os.mkdir(class_path)
for i in range(0,len(tmp)):
root_path=os.path.join(root,tmp[i][0]) #原路径
dest_path=os.path.join(destinate,tmp[i][0]) #目标路径
if not os.path.exists(dest_path): #若不存在目标路径则新建
os.mkdir(dest_path)
move_file(root_path,dest_path) #将原路径下的文件移动到目标目录下
通过该程序就可以将原有的整个UCF101数据集分成 训练集 和测试集 了