YOWO(You only watch once)项目调试运行

最新推荐文章于 2024-04-25 10:04:04 发布

chen_RX

最新推荐文章于 2024-04-25 10:04:04 发布

阅读量2.4k

点赞数 7

分类专栏：行为检测文章标签： python 深度学习计算机视觉神经网络

本文链接：https://blog.csdn.net/chen_RX/article/details/125719478

版权

行为检测专栏收录该内容

2 篇文章 0 订阅

订阅专栏

一.项目简介

最近看了YOWO的论文，论文提出了一种时空行为检测的单阶段网络架构，并且在UCF101-24和JHDMB上跑出了不错的效果，并且做到了实时检测，这里对论文内容不作赘述，有兴趣的可以去看看原论文。

本文的目的是给大家讲解一下项目代码运行中遇到的问题和解决方法，希望可以帮助到那些看了论文想要快速跑一下项目代码的同学，博主本人也是初入CV领域，讲解若有谬误或遗漏，欢迎各位在评论区批评指正，有讲解不清晰的地方，也可发在评论区讨论。

项目网址：https://github.com/wei-tim/YOWO

论文：You Only Watch Once: A Unified CNN Architecture for Real-Time Spatiotemporal Action Localization (arxiv.org)

二.项目运行

首先，从github上下载项目文件，查看作者的声明可以发现，项目的部署相对比较简单，下载好相关包，准备好数据集后就可以运行main.py文件进行训练和测试，作者也贴心的准备了数据集链接和标注文件。读者可以自行在官网下载。(我使用的是ucf24数据集，随数据集附带了一个pkl格式的标注文件，项目要求提取出trianlist.txt，testlist.txt，testlist_videos.txt和labels文件夹存放标注文件，这几个文件作者提供了）

1. 标注文件的路径问题

关于数据集本身，只需要按照链接下载即可，我使用的是ucf24数据集，随数据集附带了一个pkl格式的标注文件，项目要求提取出trianlist.txt，testlist.txt，testlist_videos.txt和labels文件夹存放标注文件，这几个文件作者都提供了，但就是作者提供的这几个文件出现了问题。在准备好所有文件，运行main.py之后报错，报错的图没有截下来，大致意思是根据trainlist.txt文件找不到labels文件夹下的标注文件。查看项目的源码可以发现，datasets文件夹下clip.py文件中的load_data_detection函数报错说找不到标注文件，查看这个函数可以发现他是这样写的：

labpath = os.path.join(base_path, 'labels', im_split[0], im_split[1] ,'{:05d}.txt'.format(im_ind))

这里是根据配置文件中的base文件路径来生成标注文件路径，首先我们需要把groundtruths_ucf文件夹改名为labels文件夹；其次，进入labels文件夹可以看到标注文件的格式为

而上面那行代码是以 '/' 连接路径名，我们应改为 '_'连接

 # labpath = os.path.join(base_path, 'labels', im_split[0], im_split[1] ,'{:05d}.txt'.format(im_ind))
    labpath = base_path + '/' + 'labels' + '/' + im_split[0] + '_' + im_split[1] + '_' + '{:05d}.txt'.format(im_ind)

这样就能正确读取标注文件

2.标注文件问题

经过上面的修改过后，我发现问题依然存在，检查后发现标签路径格式已经没有问题了，问题在于给定的标签文件夹labels中没有训练数据的标签。

打开这几个文件一看，有非常明显的错误，标注文件仅有测试视频的标注，训练文件没有标注，因此训练无法进行（大家可以尝试把ucf24.yaml文件中的训练文件路径改为测试文件的路径，会发现训练又可以进行了，这其实就是因为作者给的标注文件只标了测试数据集）

由于ucf24自带了一个yaml文件，里面有标注信息，因此我自己编写了一个脚本可以生成该项目所需的相关文件

import pickle
import pprint
import os
file_path = r"D:\Programs\python\PythonProject\DeepLearning\MyProjects\data\ucf24\UCF101v2-GT.pkl"
save_path = r"D:\Programs\python\PythonProject\DeepLearning\MyProjects\data\ucf24\annotations"
if not os.path.exists(save_path):
    os.mkdir(save_path)

def read_pkl(file_path):
    assert os.path.exists(file_path), 'File not found!'
    data_list = []
    with open(file_path, 'rb') as f:
        while True:
            try:
                data = pickle.load(f, encoding='latin')
                data_list.append(data)
            except EOFError:
                break
    return data_list

def generate_train_and_labels_file(train: bool, videos: list, annotations: list):
    assert type(videos) == list and type(annotations) == dict
    if train:
        trainlist_file = os.path.join(save_path, 'trainlist.txt')
        annotations_dir = os.path.join(save_path, 'labels')
        if not os.path.exists(annotations_dir):
            os.mkdir(annotations_dir)
        train_file = open(trainlist_file, 'a+')

        for video in videos:
            ann = annotations[video]
            part1, part2 = video.split('/')[0], video.split('/')[1]
            for key, val in ann.items(): # key: class id,  val: list of frames, nframes * 5
                for idx, labels in enumerate(val): # val可能出现多个人物，因此需分别对每个人物的标注进行处理
                    for label in labels:
                        if idx == 0: # 仅在第一次循环中生成 trainlist.txt 文件
                            trainline = video + '/' + '{:05d}.txt'.format(int(label[0])) + '\n'
                            train_file.write(trainline)
                        labelfile = part1 + '_' + part2 + '_' + '{:05d}.txt'.format(int(label[0]))
                        label_path = os.path.join(annotations_dir, labelfile) # label path
                        labelline = str(int(key+1))
                        for x in label[1:]:
                            labelline += ' {:d}'.format(int(x)) # label info type: class, Xmin, Ymin, Xmax, Ymax
                        labelline += '\n'
                        with open(label_path, 'a+') as f:
                            f.write(labelline)
                        f.close()
        train_file.close()
    else:
        testlist_file = os.path.join(save_path, 'testlist.txt')
        annotations_dir = os.path.join(save_path, 'labels')
        videolist = os.path.join(save_path, 'testlist_videos.txt')
        if not os.path.exists(annotations_dir):
            os.mkdir(annotations_dir)
        test_file = open(testlist_file, 'a+')
        video_file = open(videolist, 'a+')

        for video in videos:
            videoline = video + '\n'
            video_file.write(videoline)
            ann = annotations[video]
            part1, part2 = video.split('/')[0], video.split('/')[1]
            for key, val in ann.items():  # key: class id,  val: list of frames, nframes * 5
                for idx, labels in enumerate(val):
                    for label in labels:
                        if idx == 0:
                            testline = video + '/' + '{:05d}.txt'.format(int(label[0])) + '\n'
                            test_file.write(testline)
                        labelfile = part1 + '_' + part2 + '_' + '{:05d}.txt'.format(int(label[0]))
                        label_path = os.path.join(annotations_dir, labelfile)  # label path
                        labelline = str(int(key)+1)
                        for x in label[1:]:
                            labelline += ' {:d}'.format(int(x))  # label info type: frame id, Xmin, Ymin, Xmax, Ymax
                        labelline += '\n'
                        with open(label_path, 'a+') as f:
                            f.write(labelline)
                        f.close()
        test_file.close()
        video_file.close()

if __name__ == '__main__':
    data = read_pkl(file_path)[0]
    labels = data['labels']
    train_videos = data['train_videos'][0]
    test_videos = data['test_videos'][0]
    nframes = data['nframes']
    gttubes = data['gttubes']
    generate_train_and_labels_file(train=True, videos=train_videos, annotations=gttubes)
    generate_train_and_labels_file(train=False, videos=test_videos, annotations=gttubes)

file_path需要指定到官方的pkl标注文件，save_path为生成的一系列文件的存储位置

目前我碰到的问题就是这么两个，归根结底是标注文件的问题，我感觉可能是作者不小心放错了标注文件，可能未来会被修复。