在AutoDL上运行TSN代码

YN！！！

已于 2022-11-27 15:05:31 修改

阅读量559

点赞数 1

文章标签： python

于 2022-10-31 18:43:14 首次发布

本文链接：https://blog.csdn.net/weixin_64031117/article/details/127620993

版权

之前先用谷歌的colab运行了一下，不过太慢了，就找了一个国内的AutoDL平台，达到了新的进度。

1、首先需要安装xshall和xftp进行连接服务器和传输代码。

2、在AutoDL中选择一个需要的服务器，在Xshall中输入指令和密码，指令的格式有一点小变化

-p 删掉，数字放到最后

ssh root@xxx.x.x shuzi

3、

点这个绿色按钮，跳出xftp

通过xftp将代码传上去

4、首先在mmaction的data/ucf101中创建rawframes、videos、annotations文件夹。

rawframes：视频提帧后存放的文件目录
videos：拷贝ucf101数据集中的101个文件目录，放置其中
annotations：ucf101之后进行分割训练集、测试集的依据文件

5、运行

python build_rawframes.py ../data/ucf101/videos ../data/ucf101/rawframes/ --level 2 --ext avi

生成视频提帧

6、运行python setup.py install （在mmaction目录下，一定要安装一下，不然会报错！）

7、运行

python data_tools/build_file_list.py ucf101 data/ucf101/rawframes/ --level 2 --format rawframes --shuffle

注：一定要在mmaction层下运行，不能在data_tools下运行，里面的路径会有错误

到此，ucf101数据处理完毕

8、训练

在tsn中修改main.py代码

在ucf101类别中，原本代码是101，我们这里复现只使用ucf101三个类型,所以将代码修改为

if args.dataset == 'ucf101'

num_class = 3

在TSNDataSet中，为了更好的找到对应文件的位置，建议将args.train_list和args.val_list(这两个输入字符串就是之前生成的file_list的绝对路径)写成指定字符串的形式，所以将代码修改为

TSNDataSet("", "/root/mmaction/data/ucf101/ucf101_train_split_1_rawframes.txt", num_segments=args.num_segments,
                   new_length=data_length,
                   modality=args.modality,
                   image_tmpl="img_{:05d}.jpg" if args.modality in ["RGB", "RGBDiff"] else args.flow_prefix+"{}_{:05d}.jpg",
                   transform=torchvision.transforms.Compose([
                       train_augmentation,
                       Stack(roll=args.arch == 'BNInception'),
                       ToTorchFormatTensor(div=args.arch != 'BNInception'),
                       normalize,
                   ]))

TSNDataSet("", "/root/mmaction/data/ucf101/ucf101_val_split_1_rawframes.txt", num_segments=args.num_segments,
                   new_length=data_length,
                   modality=args.modality,
                   image_tmpl="img_{:05d}.jpg" if args.modality in ["RGB", "RGBDiff"] else args.flow_prefix+"{}_{:05d}.jpg",
                   random_shift=False,
                   transform=torchvision.transforms.Compose([
                       GroupScale(int(scale_size)),
                       GroupCenterCrop(crop_size),
                       Stack(roll=args.arch == 'BNInception'),
                       ToTorchFormatTensor(div=args.arch != 'BNInception'),
                       normalize,
                   ]))

对datase.py进行修改

def get(self, record, indices):

        images = list()
        for seg_ind in indices:
            p = int(seg_ind)
            for i in range(self.new_length):
                seg_imgs = self._load_image('root/mmaction/data/ucf101/rawframes' + record.path, p)
                images.extend(seg_imgs)
                if p < record.num_frames:
                    p += 1

        process_data = self.transform(images)
        return process_data, record.label

9、运行代码

python main.py ucf101 RGB /root/mmaction/data/ucf101/ucf101_val_split_1_rawframes.txt /home/ty/mmaction/data/ucf101/ucf101_val_split_1_rawframes.txt \
   --num_segments 3 \
   --gd 20 --lr 0.001 --lr_steps 30 60 --epochs 5 \
   -b 16 -j 8 --dropout 0.8 \
   --snapshot_pref ucf101_bninception_

遇到的问题：

1、