CLIP4Clip 项目使用教程

CLIP4Clip 项目使用教程

CLIP4ClipAn official implementation for "CLIP4Clip: An Empirical Study of CLIP for End to End Video Clip Retrieval"项目地址:https://gitcode.com/gh_mirrors/cl/CLIP4Clip

1. 项目的目录结构及介绍

CLIP4Clip 项目的目录结构如下：

CLIP4Clip/
├── dataloaders/
│   ├── __init__.py
│   └── ...
├── modules/
│   ├── __init__.py
│   └── ...
├── preprocess/
│   ├── __init__.py
│   └── ...
├── .gitignore
├── CLIP4Clip.png
├── LICENSE
├── README.md
├── main_task_retrieval.py
├── metrics.py
├── util.py
└── ...

目录结构介绍

• dataloaders/: 包含数据加载相关的模块。
• modules/: 包含项目的主要模块。
• preprocess/: 包含数据预处理相关的模块。
• .gitignore: Git 忽略文件配置。
• CLIP4Clip.png: 项目图标。
• LICENSE: 项目许可证。
• README.md: 项目说明文档。
• main_task_retrieval.py: 项目的主任务文件。
• metrics.py: 评估指标相关的模块。
• util.py: 工具函数模块。

2. 项目的启动文件介绍

项目的启动文件是 main_task_retrieval.py。这个文件包含了训练和评估的主要逻辑。以下是启动文件的基本使用方法：

python -m torch.distributed.launch --nproc_per_node=8 \
main_task_retrieval.py --do_train --num_thread_reader=2 \
--epochs=5 --batch_size=128 --n_display=50 \
--data_path $[DATA_PATH] \
--features_path $[DATA_PATH]/DiDeMo_Videos \
--output_dir ckpts/ckpt_didemo_retrieval_looseType \
--lr 1e-4 --max_words 64 --max_frames 64 --batch_size_val 16 \
--datatype didemo --feature_framerate 1 --coef_lr 1e-3 \
--freeze_layer_num 0 --slice_framepos 2 \
--loose_type --linear_patch 2d --sim_header meanP \
--pretrained_clip_name ViT-B/32

启动文件参数介绍

• --do_train: 是否进行训练。
• --num_thread_reader: 数据读取线程数。
• --epochs: 训练轮数。
• --batch_size: 批处理大小。
• --n_display: 每多少步显示一次训练信息。
• --data_path: 数据路径。
• --features_path: 特征数据路径。
• --output_dir: 输出目录。
• --lr: 学习率。
• --max_words: 最大词数。
• --max_frames: 最大帧数。
• --batch_size_val: 验证批处理大小。
• --datatype: 数据类型。
• --feature_framerate: 特征帧率。
• --coef_lr: 学习率系数。
• --freeze_layer_num: 冻结层数。
• --slice_framepos: 帧位置切片。
• --loose_type: 宽松类型。
• --linear_patch: 线性补丁类型。
• --sim_header: 相似度头类型。
• --pretrained_clip_name: 预训练的 CLIP 模型名称。

3. 项目的配置文件介绍

项目中没有显式的配置文件，但可以通过命令行参数进行配置。主要的配置参数在启动文件 main_task_retrieval.py 中定义。

配置参数介绍

• data_path: 数据路径，用于指定训练和验证数据的位置。
• features_path: 特征数据路径，用于指定视频特征数据的位置。
• output_dir: 输出目录，用于指定模型和日志的输出位置。
• lr: 学习率，用于控制模型训练的步长。
• max_words: 最大词数，用于限制输入文本的最大长度。
• max_frames: 最大帧数，用于限制输入视频的最大帧数。
• batch_size: 批处理大小

CLIP4ClipAn official implementation for "CLIP4Clip: An Empirical Study of CLIP for End to End Video Clip Retrieval"项目地址:https://gitcode.com/gh_mirrors/cl/CLIP4Clip