数据集处理
最近在做的实验需要将视频分类数据集抽帧变成图片分类的数据集,然后放入已有模型进行训练和评估。
该篇参考博文详细介绍了搭建视频分类模型的过程,但主要以处理数据集为主。所以我的实验借鉴了这篇博文对数据集处理的方法,但对个别内容有修改,并补充了一些理解。
便于处理,只取了UCF101的前10个类别,主要为了测试视频抽帧处理成图片分类数据集的效果,暂不考虑其他因素。
要点一:给每一个视频加标签
大佬博客是按照视频类名划分出标签的,但实际也可以按照视频后面给出的数字划分,这样,后面就不用单独将文字标签转为数字标签了。
大佬划分:
# 为训练视频创建标签
train_video_tag = []#标签列表
for i in range(train.shape[0]):#shape[0],遍历每条视频名(从后往前)
train_video_tag.append(train['video_name'][i].split('/')[0])#按照数据帧第['video_name']列每一行的“/”划分取第0维并加入标签列表
train['tag'] = train_video_tag#给数据帧增加一列并起名类别,把标签列表赋值给这列
train.head()#显示前5行
效果:
按数字划分:
# 为训练视频创建标签
train_video_tag = []#标签列表
for i in range(train.shape[0]):
train_video_tag.append(train['video_name'][i].split('avi')[1])
train['tag'] = train_video_tag
train.head()
效果:
我觉得这里就是看自己需要选择,而我绕了一圈用了大佬的方法。
要点二:从训练组视频里提取帧
这块是核心代码,但是博主代码的缩进问题还是什么原因一直出不来结果。于是我整个换掉了,非常成功。参考
# 保存从训练视频中提取的帧
for i in tqdm(range(train.shape[0])):#tqmd进度条提取过程
count = 0
videoFile = train['trainvideo_name'][i]#数据帧里视频名
# 全局变量
VIDEO_PATH = 'Desktop/UCF10/videos_10/'+videoFile.split(' ')[0]# 视频地址,用空格划分出了视频名
EXTRACT_FOLDER = 'Desktop/UCF10/train_1/' # 存放帧图片的位置
EXTRACT_FREQUENCY = 50 # 帧提取频率(每秒划过多少帧,一个视频是25帧/s,故抽到的帧数少)
def extract_frames(video_path, dst_folder, index):
# 主操作
import cv2
video = cv2.VideoCapture()#打开视频或摄像头等
if not video.open(video_path):
print("can not open the video")
exit(1)
count = 1
while True:
_, frame = video.read()#按帧读取视频
#视频读完退出
if frame is None:
break
#每过50帧抽取一张
if count % EXTRACT_FREQUENCY == 0:
#帧的存储格式,根据需要改,最好和视频名保持一致
save_path ='Desktop/UCF10/train_1/'+videoFile.split('/')[1].split(' ')[0] +"_frame%d.jpg" % count
cv2.imwrite(save_path, frame)#存帧
count += 1
video.release()
# 打印出所提取帧的总数
print("Totally save {:d} pics".format(index-1))
def main():
'''
批量生成图片,可以不要这块代码
'''
# # 递归删除之前存放帧图片的文件夹,并新建一个
# import shutil
# try:
# shutil.rmtree(EXTRACT_FOLDER)
# except OSError:
# pass
# import os
# os.mkdir(EXTRACT_FOLDER)
# 抽取帧图片,并保存到指定路径
extract_frames(VIDEO_PATH, EXTRACT_FOLDER, 1)
if __name__ == '__main__':
main()
效果:
要点三:把帧的名称和相对应的标签保存在.csv文件里。创建这个文件可以帮助我们读取在下一阶段要用到的帧
from tqdm import tqdm
from glob import glob
import pandas as pd
# 获得所有图像的名称
images = glob("Desktop/UCF10/train_1_50/*.jpg")
train_image = []
train_class = []
for i in tqdm(range(len(images))):
# 创建图像的名称
train_image.append(images[i].split('50\\')[1])
# 创建图像的标签
train_class.append(images[i].split('v_')[1].split('_')[0])
# 将图像和它们的标签保存到数据帧里
train_data = pd.DataFrame()
train_data['image'] = train_image
train_data['class'] = train_class
# 将数据帧转为csv.文件
train_data.to_csv('Desktop/UCF10/train_new.csv',header=True, index=False)
这步在创建图像和标签名称那里的字符串划分可以适当修改,我用大佬的划分不出来。。。
读取该csv文件:
import pandas as pd
train = pd.read_csv('Desktop/UCF10/train_new.csv')
train.head()
效果:
要点四:利用这个.csv文件,提取出帧储存为一个Numpy 数组。这里做了改进多张图片转成一个.npy文件存储
要点五:划分训练集验证集及相应标签
import pandas as pd
from sklearn.model_selection import train_test_split
#读取存有图片名和对应类别名的.csv文件
train = pd.read_csv('train_new.csv')
# 区分目标
y = train['class']
# 创建训练集和验证集
X_train, X_test, y_train, y_test = train_test_split(X, y, random_state=42, test_size=0.2, stratify = y)
之后大佬的文章是搭建vgg16的分类模型,并给训练集和验证集创建了目标变量的数据列。但我只需要数据集,所以把上面的结果保存即可。
保存训练集和验证集
import numpy as np
np.save("Desktop/UCF10/train1/Xtr01", X_train)
np.save("Desktop/UCF10/train1/Ytr01", y_train)
np.save("Desktop/UCF10/test1/Xte01", X_test)
np.save("Desktop/UCF10/test1/Yte01", y_test)
最后,将文字标签转换成数字标签,如果划分标签的时候按照数字划分,就不用这一步。
数据集放入模型测试
已有vgg16模型的超参设置是用来跑cifar_10的,learning_rate = 0.02,batch_size = 100,epoch = 1,momentuma = 0.5
但输入这个处理过的数据集,结果,损失是nan,迭代一次精度只有11%左右,而且每次测试精度都一模一样。
于是调整超参数:learning_rate = 0.002,batch_size = 20,epoch = 1,momentuma = 0.5
得到测试的损失和精度分别为:
然后可以查看下真实标签和预测标签的结果:
查看实际上没什么意义,老师说看标签对不对,其实看测试精度就可以了。