X-Temporal 开源项目使用教程

X-Temporal 开源项目使用教程

X-Temporal A general video understanding codebase from SenseTime X-Lab 项目地址: https://gitcode.com/gh_mirrors/xt/X-Temporal

1. 项目介绍

X-Temporal 是一个开源的视频理解代码库，由 Sensetime X-Lab 团队开发。它提供了最先进的视频分类模型，包括 "Temporal Segment Networks"、"Temporal Interlacing Network"、"Temporal Shift Module"、"ResNet 3D"、"SlowFast Networks for Video Recognition" 和 "Non-local Neural Networks" 等。X-Temporal 旨在帮助研究人员快速实现和评估新的视频研究想法，支持多种数据集和视频输入格式。

2. 项目快速启动

2.1 环境准备

在开始之前，请确保您的环境中安装了以下库：

• PyTorch 1.0 或更高版本
• TensorboardX
• tqdm
• sklearn
• scikit-learn
• decord
• ffmpeg（用于提取视频帧）

2.2 安装步骤

1. 克隆项目仓库：

   git clone https://github.com/Sense-X/X-Temporal.git
   cd X-Temporal
   

2. 运行安装脚本：

   ./easy_setup.sh
   

2.3 数据准备

每个数据集的元文件中的每一行代表一个视频，分为三列：图片文件夹、帧数和类别ID。例如：

abseiling/Tdd9inAW1VY_000361_000371 300 0
zumba/x0KPHFRbzDo_000087_000097 300 599

您也可以直接读取原始视频文件。X-Temporal 使用 Decor 库进行实时视频帧提取。

2.4 训练模型

1. 创建实验文件夹：

   mkdir -p experiments/test
   

2. 复制配置文件：

   cp experiments/r2plus1d/default.yaml experiments/test
   cp experiments/r2plus1d/run.sh experiments/test
   

3. 设置训练脚本：

   T=`date +%m%d%H%M`
   ROOT=./
   cfg=default.yaml
   export PYTHONPATH=$ROOT:$PYTHONPATH
   python $ROOT/x_temporal/train.py --config $cfg | tee log_train_$T
   

4. 开始训练：

   ./train.sh
   

2.5 测试模型

1. 设置 resume_model 路径：

   saver:
     resume_model: checkpoints/ckpt_e13.pth
   

2. 修改测试配置：

   evaluate:
     spatial_crops: 3
     temporal_samples: 10
   

3. 运行测试脚本：

   T=`date +%m%d%H%M`
   ROOT=./
   cfg=default.yaml
   export PYTHONPATH=$ROOT:$PYTHONPATH
   python $ROOT/x_temporal/test.py --config $cfg | tee log_test_$T
   

3. 应用案例和最佳实践

X-Temporal 已被广泛应用于多个领域，包括但不限于：

• 视频分类：使用 X-Temporal 提供的模型对视频进行分类，如动作识别、场景分类等。
• 视频理解：通过 X-Temporal 的模型提取视频特征，用于视频内容的理解和分析。
• 多标签分类：X-Temporal 支持多标签数据集，适用于需要同时识别多个类别的场景。

4. 典型生态项目

• PyTorch：X-Temporal 基于 PyTorch 框架开发，充分利用了 PyTorch 的灵活性和高效性。
• TensorboardX：用于训练过程中的可视化，帮助用户监控训练进度和模型性能。
• ffmpeg：用于视频帧的提取，确保视频数据的预处理高效且准确。

通过以上步骤，您可以快速上手 X-Temporal 项目，并开始您的视频理解研究。

X-Temporal A general video understanding codebase from SenseTime X-Lab 项目地址: https://gitcode.com/gh_mirrors/xt/X-Temporal