科研任务需要,将视频中与文字和音频对应的视频帧根据时间戳提取出来,并截取视频帧中的人脸。使用的工具是opencv,步骤如下:
1. 提取视频帧
Sentence标号的含义
数据集中对视频中的每个sentence进行了标号,拿Ses01F_impro01_F001.png举例说明:
- Ses01代表着视频位于Session1
- 第一个F代表着视频中的female person 穿戴传感器设备
- impro01代表着视频是两种表演方式(impro和script)中的impro类型的第一个视频
- F001代表着是视频中的female person说的第一句话
根据标号所代表的含义以及已经处理好的processed_ids.txt文件中sentences的顺序,从IEMOCAP数据集中IEMOCAP_full_release/Session1/dialog/lab含有的sentence时间戳中提取正确的时间顺序,将时间戳储存在processed_timepoints.npy文件中
视频帧的提取
python 代码如下(只提取Session1)
import cv2
import numpy as np
with open('/home/jekin/PycharmProjects/Speech/code/data/processed/IEMOCAP/processed_ids.txt', 'r') as f:
lines = f.readlines()
ids = [x.split() for x in lines]
time_points = np.load('/home/jekin/SPACE/IEMOCAP_full_release/Session1/dialog/lab/processed_timepoints.npy')
for i in range(len(ids)):
# get the video name
cur_id = ids[i][0]
typename = ''
for k in range(len(ids[i][0].split('_')) - 1):
typename += ids[i][0].split('_')[k]
if k == len(ids[i][0].split('_')) - 2:
continue
else:
typename += '_'
cap = cv2.VideoCapture('/home/jekin/SPACE/IEMOCAP_full_release/Session1/dialog/avi/DivX/'
+ typename + '.avi')
fps