AVA视频数据集制作

已于 2023-11-12 09:00:14 修改
阅读量511 收藏 2
点赞数
文章标签： 音视频
于 2023-09-23 10:31:27 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_45751396/article/details/133160933
版权

文章目录

1. 熟悉数据框架

Data Prepration

我们假设 AVA 数据集放置在 data/ava 中，结构如下。

ava
|_ frames
|  |_ [video name 0]
|  |  |_ [video name 0]_000001.jpg
|  |  |_ [video name 0]_000002.jpg
|  |  |_ ...
|  |_ [video name 1]
|     |_ [video name 1]_000001.jpg
|     |_ [video name 1]_000002.jpg
|     |_ ...
|_ frame_lists
|  |_ train.csv
|  |_ val.csv
|_ annotations
   |_ [official AVA annotation files]
   |_ ava_train_predicted_boxes.csv
   |_ ava_val_predicted_boxes.csv

您可以通过以下步骤或通过创建数据的符号链接 来准备此结构。

2. 下载数据集

cd dataset_tools/ava
./download_videos.sh

DATA_DIR="../../data/ava/videos"

if [[ ! -d "${DATA_DIR}" ]]; then
  echo "${DATA_DIR} doesn't exist. Creating it.";
  mkdir -p ${DATA_DIR}
fi

wget https://s3.amazonaws.com/ava-dataset/annotations/ava_file_names_trainval_v2.1.txt

for line in $(cat ava_file_names_trainval_v2.1.txt)
do
  wget https://s3.amazonaws.com/ava-dataset/trainval/$line -P ${DATA_DIR}
done

这些视频文件占用 157 GB 空间。

在这里插入图片描述

https://s3.amazonaws.com/ava-dataset/annotations/ava_file_names_trainval_v2.1.txt
https://s3.amazonaws.com/ava-dataset/annotations/ava_file_names_test_v2.1.txt

Download-AVA_Kinetics-and-AVA_Actions
这个库下面也有下载连接。
在这里插入图片描述
复制链接使用迅雷下载。下载时，我发现下载的内容有部分缺失，所以写个代码查询哪些视频缺失了。

import os

IN_DATA_DIR = "dataset_prepration/videos"
OUT_DATA_DIR = "dataset_prepration/videos_15min"

if not os.path.isdir(OUT_DATA_DIR):
    os.makedirs(OUT_DATA_DIR)

# Read videos from the videos directory and print their names
# for filename in os.listdir(IN_DATA_DIR):
#     if filename.endswith(".mp4") or filename.endswith(".mkv"):
#         print(filename)

count = 0
for video in os.listdir(IN_DATA_DIR):
    count += 1
print(f"There are {count} videos.")


# Compare files in the videos directory with a txt file to find missing ones
txt_file = "dataset_prepration/ava_file_names_trainval_v2.1.txt"
missing_files = []
with open(txt_file, "r") as file:
    txt_files = file.read().splitlines() # txt_files是一个list
    # print(txt_files)
    for filename in txt_files:
        if filename not in os.listdir(IN_DATA_DIR):
            missing_files.append(str(filename))

output_file = open("missing_files.txt", "w")
# Save missing_files to a txt file
with open("missing_files.txt", "w") as file:
    missing_files
    for file_name in missing_files:
        output_file.write(file_name + "\n")

缺失视频如下，进行下载后上传。原来是后缀为webm的文件无法下载。
在这里插入图片描述

上传视频文件到服务器。
在这里插入图片描述

验证集同理。

https://s3.amazonaws.com/ava-dataset/annotations/ava_file_names_test_v2.1.txt

3. 将每个视频从第 15 分钟剪切到第 30 分钟

import os


IN_DATA_DIR = "dataset_prepration/cuttest_videos"
OUT_DATA_DIR = "dataset_prepration/cuttest_videos_15min"

if not os.path.isdir(OUT_DATA_DIR):
    print(f"{OUT_DATA_DIR} doesn't exist. Creating it.")
    os.makedirs(OUT_DATA_DIR)


for video in os.listdir(IN_DATA_DIR):
    print(video)
    out_name = os.path.join(OUT_DATA_DIR, os.path.basename(video))
    if not os.path.isfile(out_name):
        os.system(f"ffmpeg -ss 900 -t 901 -i '{IN_DATA_DIR+'/'+video}' '{out_name}'")  # 使用ffmpeg命令剪切视频

在这里插入图片描述

430个视频要裁剪一上午了。

4. 提取帧

import os  


IN_DATA_DIR = "dataset_prepration/videos_15min"  # 输入数据目录
OUT_DATA_DIR = "dataset_prepration/frames"  # 输出数据目录


if not os.path.isdir(OUT_DATA_DIR):
    print(f"{OUT_DATA_DIR} doesn't exist. Creating it.")
    os.makedirs(OUT_DATA_DIR)

for video in os.listdir(IN_DATA_DIR):
    video_name = os.path.basename(video)

    if video_name.endswith(".webm"):
        video_name = video_name[:-5]
    else:
        video_name = video_name[:-4]

    out_video_dir = os.path.join(OUT_DATA_DIR, video_name)
    os.makedirs(out_video_dir, exist_ok=True)

    out_name = os.path.join(out_video_dir, f"{video_name}_%06d.jpg")

    ffmpeg_command = f"ffmpeg -i {os.path.join(IN_DATA_DIR, video)} -r 30 -q:v 1 {out_name}"
    ret = os.system(ffmpeg_command)
    assert ret == 0, f"帧提取失败，退出值为{ret // 256}"
    print(f"[成功] ({video})", flush=True)

提取帧的文件保存在 frame文件夹的每个以视频命名的子文件夹下，下面的代码可以查询

  • 每个二级子文件夹下有多少张图片，
  • 共有多少子文件
  • 共有多少图片
import os

# Get the list of subdirectories in the frames folder
subdirectories = [subdir for subdir in os.listdir("dataset_prepration/frames") if os.path.isdir(os.path.join("dataset_prepration/frames", subdir))]

# Iterate over each subdirectory and count the number of images
for subdir in subdirectories:
    subdir_path = os.path.join("dataset_prepration/frames", subdir)
    num_images = len(os.listdir(subdir_path))
    print(f"The subdirectory {subdir} contains {num_images} images.")


num_subdirectories = len(subdirectories)
print(f"The frames folder contains {num_subdirectories} subdirectories.")

num_files = sum([len(files) for _, _, files in os.walk("dataset_prepration/frames")])
print(f"The frames folder contains {num_files} files.")

在这里插入图片描述

5. 下载注释

6. 其他

下载“帧列表”（train、val）并将它们放入frame_lists文件夹中（参见上面的结构）。

https://dl.fbaipublicfiles.com/video-long-term-feature-banks/data/ava/frame_lists/train.csv

https://dl.fbaipublicfiles.com/video-long-term-feature-banks/data/ava/frame_lists/val.csv

下载人员框（train、val、test）并将它们放入注释文件夹中（参见上面的结构）。如果您更喜欢使用自己的人员检测器，请参阅 GETTING_STARTED.md 中的详细信息。

https://dl.fbaipublicfiles.com/video-long-term-feature-banks/data/ava/annotations/ava_train_predicted_boxes.csv

https://dl.fbaipublicfiles.com/video-long-term-feature-banks/data/ava/annotations/ava_val_predicted_boxes.csv

https://dl.fbaipublicfiles.com/video-long-term-feature-banks/data/ava/annotations/ava_test_predicted_boxes.csv

新版 V2.2

这里不要使用官网的默认版本，采用最新的2.2版本，官网有一个下载的链接：

在这里插入图片描述

https://dl.fbaipublicfiles.com/pyslowfast/annotation/ava/ava_annotations.tar
tar -xvf ava_annotations.tar 解压tar文件

├── ava_annotations
│   ├── ava_action_list_v2.1_for_activitynet_2018.pbtxt
│   ├── ava_action_list_v2.2_for_activitynet_2019.pbtxt
│   ├── ava_action_list_v2.2.pbtxt
│   ├── ava_included_timestamps_v2.2.txt
│   ├── ava_test_excluded_timestamps_v2.1.csv
│   ├── ava_test_excluded_timestamps_v2.2.csv
│   ├── ava_test_v2.2.csv
│   ├── ava_train_excluded_timestamps_v2.1.csv
│   ├── ava_train_excluded_timestamps_v2.2.csv
│   ├── ava_train_v2.1.csv
│   ├── ava_train_v2.2.csv
│   ├── ava_val_excluded_timestamps_v2.1.csv
│   ├── ava_val_excluded_timestamps_v2.2.csv
│   ├── ava_val_v2.1.csv
│   ├── ava_val_v2.2.csv
│   ├── person_box_67091280_iou75
│   │   ├── ava_detection_test_boxes_and_labels.csv
│   │   ├── ava_detection_train_boxes_and_labels_include_negative.csv
│   │   ├── ava_detection_train_boxes_and_labels_include_negative_v2.1.csv
│   │   ├── ava_detection_train_boxes_and_labels_include_negative_v2.2.csv
│   │   ├── ava_detection_val_boxes_and_labels.csv
│   │   ├── ava_detection_val_for_training_boxes_and_labels_include_negative.csv
│   │   └── ava_detection_val_for_training_boxes_and_labels_include_negative_v2.2.csv
│   ├── person_box_67091280_iou90
│   │   ├── ava_action_list_v2.1_for_activitynet_2018.pbtxt
│   │   ├── ava_detection_test_boxes_and_labels.csv
│   │   ├── ava_detection_train_boxes_and_labels_include_negative.csv
│   │   ├── ava_detection_train_boxes_and_labels_include_negative_v2.1.csv
│   │   ├── ava_detection_train_boxes_and_labels_include_negative_v2.2.csv
│   │   ├── ava_detection_val_boxes_and_labels.csv
│   │   ├── ava_detection_val_for_training_boxes_and_labels_include_negative.csv
│   │   ├── ava_detection_val_for_training_boxes_and_labels_include_negative_v2.1.csv
│   │   ├── ava_detection_val_for_training_boxes_and_labels_include_negative_v2.2.csv
│   │   ├── ava_train_predicted_boxes.csv
│   │   ├── ava_train_v2.1.csv
│   │   ├── ava_val_excluded_timestamps_v2.1.csv
│   │   ├── ava_val_predicted_boxes.csv -> ava_detection_val_boxes_and_labels.csv
│   │   ├── ava_val_v2.1.csv
│   │   ├── test.csv
│   │   ├── train.csv
│   │   └── val.csv
│   ├── test.csv
│   ├── train.csv
│   └── val.csv
└── ava_annotations.tar

在这里插入图片描述
V2.2比V2.1多了一列？不知道是什么？
在这里插入图片描述

三木今天学习了嘛
关注
专栏目录
创建自己的AVA行为识别数据集以及MMLAB系列训练、测试自己的数据
qq_52053775的博客
10-29 1139
新建好这些文件夹，也就是接下来咱们完成的内容配置好ffmpeg的环境变量，也就是把这个bin所在路径添加到环境变量这一步完成之后，可能需要重启才能用ffmpeg，然后打开命令行试一下这个命令表示成功对已经选择好的视频进行切割，比如固定长度是45秒（自己定）右键git bash打开命令行，执行脚本文件sh cut_videos.sh脚本文件对裁剪好的视频进行截帧操作，默认一秒30张图像即每1s只取一帧图像，同时去掉头部和尾部，执行video2img.py即可使用VIA来进行数据标注。
slowfast官方数据集复现版（AVA）及yaml文件介绍
最新发布
strewberry4的博客
08-18 980
记录了一下ava官方数据集的复现过程，以及对slowfast源代码中yaml文件的解释
【AVA数据集】使用YOLO快速制作动作识别数据集（一）
m0_50355568的博客
04-03 4542
（简称AVA）是由Google在2018年所发表的一个用于训练动作检测的数据集，该数据集注释430个15分钟电影切片中的80个原子视觉动作，在空间和时间上定位了动作，从而产生了1.62万个动作标签。这个数据中的内容有以下特点更多的使用原子动作而不是复合动作（如bow、kneel、jump、sleep等）对于每个人有更多的的时空标注（每个人会同时具有多种行为）在切片内的标注尽可能的详细（每个切片中的动作种类会尽可能丰富）物体在跨段中尽可能的连续（对于出现过的人会有ID进行标注）
自定义AVA数据集（进行中）
qq_40946011的博客
03-17 709
ava数据集定义
自定义AVA数据集（在window上实现）
qq_45672807的博客
03-17 7109
针对视频处理和数据集文件——在window上操作一、视频的处理1.1ffmpeg安装1.1.1ffmpeg环境变量的配置1.2视频准备1.3git安装1.4切割视频1.5在window中运行sh文件，进行切割视频 一、视频的处理 1.1ffmpeg安装 ffmpeg的官网地址是：https://www.ffmpeg.org/ 下载完成后解压，打开bin就会看到有三个程序。 1.1.1ffmpeg环境变量的配置 1.将下载的ffmpeg解压到指定的目录下，我解压在D盘目录下 2.右击此电脑——>属性—
自定义AVA数据集流程及在SlowFast中训练
qq_45672807的博客
03-07 8841
自定义的AVA数据集在Linux系统下的训练
【制作ava数据集 一】将原视频切割成动作视频片段
weixin_45140119的博客
09-09 938
利用工具 下载地址：https://kuai.360.cn/home.html 安装好后，点击新建项目→专业模式，添加剪辑里面选则需要剪辑的视频，点击分割将视频进行切割： 要求：将视频中某个完整动作切割出来， 如果是多人的视频需要将每个人单独的剪出来：先删除掉不用的视频片段，选中需要的视频片段，点击编辑： 选中裁剪，裁剪比例选自由裁剪，然后在视频中将人单独的裁剪下来： 点击完成之后，保存导出： 保存为动作名称和视频序号（例如：listen1.mp4） 尺寸：保留...
自定义ava数据集及训练与测试 完整版 时空动作/行为 视频数据集制作 yolov5, deep sort, VIA MMAction, SlowFast
热门推荐
CSPhD-winston的博客
04-24 3万+
前言 这一篇博客应该是我花时间最多的一次了，从2022年1月底至2022年4月底。 我已经将这篇博客的内容写为论文，上传至arxiv：https://arxiv.org/pdf/2204.10160.pdf 欢迎大家指出我论文中的问题，特别是语法与用词问题 在github上，我也上传了完整的项目：https://github.com/Whiffe/Custom-ava-dataset_Custom-Spatio-Temporally-Action-Video-Dataset 关于自定义ava数据集，也是后台
自定义ava数据集及训练与测试 完整版 时空动作/行为 视频数据集制作 yolov5, deep
09-19
自定义时空动作/行为视频数据集的制作过程需要以下步骤： 1. 数据收集：收集与目标动作/行为相关的视频片段。可以通过在公共视频平台上搜索相关关键词，或者使用摄像头拍摄自己感兴趣的动作/行为。确保视频片段的...
【slowfast 减少ava数据集】将ava数据集缩小到2个，对数据集做训练，然后进行检测，为训练自己的数据集做准备
sinat_28371057的博客
08-05 1216
目录 前言 一，数据文件结构 1.1 myava 1.2 annotations 1.3 annotations文件处理 1.4 frame_lists 1.5 frames 二，预训练模型 四，配置文件 4.1 创建新的yaml文件 4.2 yaml文件解释 五，训练 六，结果查看 前言 b站讲解 ava的数据集非常大，训练起来非常慢，这次我就把ava的数据集缩小到2个视频（原本有299个视频），这样做的目的是观察slowfast是如何训练ava数
ava_downloader:下载AVA数据集（用于审美视觉分析的大型数据库）
05-11
:flower_playing_cards: AVA数据集 大规模的审美视觉分析数据库 数据集下载 通过Mega或Torrent下载 :cloud: 巨型云 链接： 整个数据集已拆分为64个7z文件。 下载所有zip文件，解压缩第一个文件，它应该可以工作。 约32GB和255,500个图片文件。 :link: 激流 下载并与或其他客户端打开。 还支持磁铁链接。 有关更多详细信息，请访问 。 注意：由于torrent服务器的网络状况，下载过程可能会不稳定。 如果是这样，请改用Mega。 Bibtex： @article{, title= {AVA: A Large-Scale Database for Aesthetic Visual Analysis}, keywords= {images, aesthetics, semantic, quality, AVA, DPChallenge}, journal= {}, author= {N
AVA数据集下载链接.rar
06-10
Google发布AVA：一个用于理解人类动作的精细标记视频数据集，内存较大，30多G，支持广大网友下载~
AVA数据集百度云链接.txt
11-22
AVA数据集压缩文件中包含的是整个AVA数据集，在官网下载下来的都是文本，作者手写了一个程序将一个个图片爬下来，仅供大家参考学习，如果纰漏欢迎指出。
AVA数据集下载链接.txt
11-22
本文档中包含了AVA数据集的下载磁力链接，本文档中包含了AVA数据集的下载磁力链接，本文档中包含了AVA数据集的下载磁力链接，本文档中包含了AVA数据集的下载磁力链接，本文档中包含了AVA数据集的下载磁力链接
AVA美学质量评价数据集下载链接.txt
07-17
图像美学质量评价数据集AVA下载链接，可用迅雷下载！文件30G左右较大，建议在网速良好的状态下下载。
【slowfast复现 训练】训练过程 制作ava数据集 复现 SlowFast Networks for Video Recognition 训练 train
sinat_28371057的博客
08-05 3096
目录 前言 一，ava相关文件准备 1.1 空间准备（500G） 1.2 整体ava文件结构 1.3 frames文件 1.4 frame_lists 文件 1.5 annotations 文件 二，预训练模型 三，配置文件 3.1 创建新的yaml文件 3.2 yaml文件解释 四，训练 前言 b站视频讲解 slowfast官网 之前写了一个博客，是用slowfast的检测一个自己的视频的demo：【SlowFast复现】SlowFast Net
【slowfast 训练自己的数据集】自定义动作，制作自己的数据集，使用预训练模型进行训练，并检测其结果
sinat_28371057的博客
08-05 6069
目录 前言 一，视频的处理 1.1 视频准备 1.2 切割视频为图片 1.3 使用faster rcnn自动框人 1.4 via标注图片 二，数据集文件 2.1 数据集文件总览 2.2 annotations 2.2.1 ava_train_v2.2.csv 2.2.2 ava_val_v2.2.csv 2.2.3 ava_val_excluded_timestamps_v2.2.csv 2.2.4 ava_action_list_v2.2_
行为识别系列：win11系统AVA2.1数据集制作、训练、测试、本地视频验证（完整已跑通）
Yayisheng的博客
01-16 2564
请在Custom-ava-dataset_Custom-Spatio-Temporally-Action-Video-Dataset/yolovDeepsort/mywork/dense_proposals_train_to_via.py 中修改自己的动作类别（注意：动作类别请尽量使用英文，中文动作可能在训练阶段会报编码错误！
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值