mmAction2训练自己的行为识别数据

参考文章 link

1.数据集准备

1.1 原始数据准备

视频数据使用ucf格式 存放在mmaction/data/mydataset/下

/mmaction
----/configs
----/tools
----/data（自己创建）
--------/videos（存放原始视频）
------------/class_1
----------------Class_1Video_1.mp4
----------------Class_1Video_2.mp4
------------/class_2
----------------Class_2Video_1.mp4
----------------Class_2Video_2.mp4
--------/txt（存放标注信息）
------------classInd.txt
------------trainlist.txt
------------testlist.txt
--------/rawframes（之后的视频分帧会用到）

其中classInd.txt存放数据集类别信息，序号从1开始

1 class1
2 class2
3 class3
4 class4

trainlist，testlist自己创建，内容为class_n/class_nVideo_m

class_1/Class_1Video_1.mp4
class_1/Class_1Video_2.mp4
class_2/Class_2Video_1.mp4
class_2/Class_1Video_2.mp4
…
class_n/class_nVideo_m.mp4

1.2 视频分帧

分帧工具：/mmaction2/tools/data/ucf101/extract_rgb_frames_opencv.sh
改其中目录为1.1中目录即可，统一不同分辨率视频输出帧的大小，参数加上目标分辨率

--new-width 1024--new-height 768

bash extract_rgb_frames_opencv.sh

1.3 生成list文件

1. /mmaction2/tools/data/ucf101/generate_rawframes_filelist.sh

修改其中目录

修改 文件
/mmaction2/tools/data/build_file_list.py

#此文件中有三处需要修改
#1
from tools.data.parse_file_list import (parse_directory, parse_diving48_splits,parse_sketch_splits,
                                        parse_hmdb51_split,
                                        parse_jester_splits,
                                        parse_kinetics_splits,
                                        parse_mit_splits, parse_mmit_splits,
                                        parse_sthv1_splits, parse_sthv2_splits,
                                        parse_ucf101_splits
										#此处添加自己数据集
										parse_mydataset_splits
										)

#2
parser.add_argument(
    'dataset',
    type=str,
    choices=[
        'ucf101', 'sketch','kinetics400', 'kinetics600', 'kinetics700', 'thumos14',
        'sthv1', 'sthv2', 'mit', 'mmit', 'activitynet', 'hmdb51', 'jester', 'diving48',
        #此处添加自己数据集
        'mydataset'
    ],
    help='dataset to be built file list')

#3
if args.dataset == 'ucf101':
    splits = parse_ucf101_splits(args.level)
#改为自己数据集
elif args.dataset == 'mydataset': #add my dataset
    splits = parse_mydataset_splits(args.level)

2. /mmaction2/tools/data/parse_file_list.py

复制parse_ucf101_splits()，函数名改为自己的数据集parse_mydataset_splits()，修改其中ann文件路径

class_index_file = 'data/mydataset/videos/txt/classInd.txt'
train_file_template = 'data/mydataset/videos/txt/trainlist.txt'
test_file_template = 'data/mydataset/videos/txt/testlist.txt'

执行文件bash generate_rawframes_filelist.sh 在/mmaction2/data目录下生成相应的rawframe.txt文件，在
函数中的split1234是数据集的几种分割，没有用的话就不用管

2. 模型训练

/mmaction/config/recognition/需要的模型/模型*.py
修改.py中的

dataset_type = 'RawframeDataset'
data_root = 'data/mydataset/rawframes'
data_root_val = 'data/mydataset/rawframes'

ann_file_train = f'data/mydataset/sketch_train_split_{split}_rawframes.txt'
ann_file_val = f'data/mydataset/sketch_val_split_{split}_rawframes.txt'
ann_file_test = f'data/mydataset/sketch_val_split_{split}_rawframes.txt'

videos_per_gpu=#batchsize
和其他模型的超参数

和mmaction2/configs/base/models/模型对应.py
其中的num_class等参数

训练：
bash tools/dist_train.sh config/recognition/tsm/tsm***.py 2