【slowfast详细复现过程】在AutoDL上复现slowfast，并使用自己的视频进行demo检测

已于 2025-03-17 16:28:37 修改
阅读量1.9k 收藏 28
点赞数 39
文章标签： 深度学习 计算机视觉 人工智能 机器学习
于 2025-01-08 21:45:35 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/2301_81316166/article/details/145017325
版权

一.引言

Facebook的SlowFast模型是一个用于视频行为识别的深度学习框架，由Facebook AI Research（FAIR）开发。以下是对SlowFast模型的详细介绍：

    1.模型结构

  • 双路径网络架构：SlowFast模型采用了一种独特的双路径网络结构，包括一个慢路径（Slow pathway）和一个快路径（Fast pathway）。慢路径以较低的帧率捕捉视频中的空间信息，使用较深的网络结构来提取高级的空间特征；快路径则以较高的帧率捕捉视频中的动态信息，使用较浅的网络结构来迅速响应动态变化。
  • 融合策略：在网络的某些阶段，SlowFast模型会将快路径和慢路径的特征进行融合，以强化模型的判别能力。这种融合策略有助于同时捕获视频中的精细动态和关键空间信息，提高了对复杂动作的识别能力和效率。

    2.技术特点

  • 双流网络：SlowFast模型结合了慢速和快速处理路径，优化了信息的捕获和处理。这种设计使得模型能够同时处理视频中的时间序列信息和空间语义信息，提高了模型的准确性和效率。
  • 3D卷积：SlowFast模型利用3D卷积处理视频数据，能够更好地理解时间维度上的信息。
  • 轻量级设计：尽管SlowFast模型具有两条路径，但其体量却很轻，只占总计算资源的约20%左右。这是因为第二个路径通道较少，处理空间信息的能力较差，但这些信息完全可以由第一个路径以一种简单的方式来提供。

    3.应用前景

  • SlowFast模型可用于安全监控、体育分析、健康监测、自动驾驶等多种场景，具有广泛的应用前景和实际价值。例如，在体育分析中，SlowFast模型可以用于识别运动员的动作和姿态；在健康监测中，它可以用于检测老年人的行为异常等。
  • 此外，SlowFast模型还可以帮助公共平台寻找和删除有害视频，为视频个性化提供更好的推荐建议。

二.复现过程

1.在AutoDL上租用GPU

登入AutoDL，在算力市场界面租用GPU。我这里选择的GPU是RTX4090D*1，显存24GB，CPU内存80GB，系统盘30GB。框架选择的是Pytorch 1.10.1，Python 3.8(Ubuntu20.04)，Cuda 11.3也参考了其他博客，大部分用的是Pytorch 1.8.1，但是我没有跑通。后来试了一下Pytorch 1.10.1，会有点麻烦，因为在 PyTorch 1.8.0 版本之后，有些模块已经被移除了，但后面也可以解决。

2.环境搭建

租用完成后，进入JupyterLab，打开终端。

接下来按照官网上install.md中的要求，不断pip install就好了。

这里给出的代码可以直接复制，执行完后就编译成功啦。注意，我这里并没有指定av的版本，是先安装了ffmpeg，和官网有点不太一样，但是我运行下来也没有问题。

pip install --upgrade pip
pip install 'git+https://github.com/facebookresearch/fvcore'
pip install simplejson
pip install ffmpeg
pip install av
pip install -U iopath
pip install psutil
pip install opencv-python
pip install tensorboard
pip install cython
git clone https://github.com/facebookresearch/detectron2
pip install -e detectron2
git clone https://gitee.com/qiang_sun/SlowFast.git
export PYTHONPATH=/root/SlowFast/slowfast:$PYTHONPATH
pip install pandas
pip install scikit-learn
cd SlowFast
python setup.py build develop

如果在编译过程中，遇到ModuleNotFoundError: No module named 'torch._six'或者是ImportError: cannot import name 'int_classes' from 'torch._six' (/root/miniconda3/lib/python3.8/site-packages/torch/_six.py)，就需要回退到旧版本的 PyTorch：

pip uninstall torch torchvision
pip install torch==1.8.1+cu111 torchvision==0.11.1+cu111

看到Finished processing dependencies for slowfast==1.0就代表编译成功了

3.下载预训练模型

在官网上下载如下如所示的权重文件（点击link即可下载），放到/root/SlowFast/configs/AVA/c2目录下

4.修改代码

首先，需要在在/SlowFast/demo/AVA目录下新建ava.json，填入以下内容：

{"bend/bow (at the waist)": 0, "crawl": 1, "crouch/kneel": 2, "dance": 3, "fall down": 4, "get up": 5, "jump/leap": 6, "lie/sleep": 7, "martial art": 8, "run/jog": 9, "sit": 10, "stand": 11, "swim": 12, "walk": 13, "answer phone": 14, "brush teeth": 15, "carry/hold (an object)": 16, "catch (an object)": 17, "chop": 18, "climb (e.g., a mountain)": 19, "clink glass": 20, "close (e.g., a door, a box)": 21, "cook": 22, "cut": 23, "dig": 24, "dress/put on clothing": 25, "drink": 26, "drive (e.g., a car, a truck)": 27, "eat": 28, "enter": 29, "exit": 30, "extract": 31, "fishing": 32, "hit (an object)": 33, "kick (an object)": 34, "lift/pick up": 35, "listen (e.g., to music)": 36, "open (e.g., a window, a car door)": 37, "paint": 38, "play board game": 39, "play musical instrument": 40, "play with pets": 41, "point to (an object)": 42, "press": 43, "pull (an object)": 44, "push (an object)": 45, "put down": 46, "read": 47, "ride (e.g., a bike, a car, a horse)": 48, "row boat": 49, "sail boat": 50, "shoot": 51, "shovel": 52, "smoke": 53, "stir": 54, "take a photo": 55, "text on/look at a cellphone": 56, "throw": 57, "touch (an object)": 58, "turn (e.g., a screwdriver)": 59, "watch (e.g., TV)": 60, "work on a computer": 61, "write": 62, "fight/hit (a person)": 63, "give/serve (an object) to (a person)": 64, "grab (a person)": 65, "hand clap": 66, "hand shake": 67, "hand wave": 68, "hug (a person)": 69, "kick (a person)": 70, "kiss (a person)": 71, "lift (a person)": 72, "listen to (a person)": 73, "play with kids": 74, "push (another person)": 75, "sing to (e.g., self, a person, a group)": 76, "take (an object) from (a person)": 77, "talk to (e.g., self, a person, a group)": 78, "watch (a person)": 79}

接着，修改/SlowFast/demo/AVA/SLOWFAST_32x2_R101_50_50.yaml，内容改为如下：

TRAIN:
  ENABLE: False
  DATASET: ava
  BATCH_SIZE: 16
  EVAL_PERIOD: 1
  CHECKPOINT_PERIOD: 1
  AUTO_RESUME: True
  CHECKPOINT_FILE_PATH: "/root/SlowFast/configs/AVA/c2/SLOWFAST_32x2_R101_50_50.pkl"  #path to pretrain model
  CHECKPOINT_TYPE: pytorch
DATA:
  NUM_FRAMES: 32
  SAMPLING_RATE: 2
  TRAIN_JITTER_SCALES: [256, 320]
  TRAIN_CROP_SIZE: 224
  TEST_CROP_SIZE: 256
  INPUT_CHANNEL_NUM: [3, 3]
DETECTION:
  ENABLE: True
  ALIGNED: False
AVA:
  BGR: False
  DETECTION_SCORE_THRESH: 0.8
  TEST_PREDICT_BOX_LISTS: ["person_box_67091280_iou90/ava_detection_val_boxes_and_labels.csv"]
SLOWFAST:
  ALPHA: 4
  BETA_INV: 8
  FUSION_CONV_CHANNEL_RATIO: 2
  FUSION_KERNEL_SZ: 5
RESNET:
  ZERO_INIT_FINAL_BN: True
  WIDTH_PER_GROUP: 64
  NUM_GROUPS: 1
  DEPTH: 101
  TRANS_FUNC: bottleneck_transform
  STRIDE_1X1: False
  NUM_BLOCK_TEMP_KERNEL: [[3, 3], [4, 4], [6, 6], [3, 3]]
  SPATIAL_DILATIONS: [[1, 1], [1, 1], [1, 1], [2, 2]]
  SPATIAL_STRIDES: [[1, 1], [2, 2], [2, 2], [1, 1]]
NONLOCAL:
  LOCATION: [[[], []], [[], []], [[6, 13, 20], []], [[], []]]
  GROUP: [[1, 1], [1, 1], [1, 1], [1, 1]]
  INSTANTIATION: dot_product
  POOL: [[[2, 2, 2], [2, 2, 2]], [[2, 2, 2], [2, 2, 2]], [[2, 2, 2], [2, 2, 2]], [[2, 2, 2], [2, 2, 2]]]
BN:
  USE_PRECISE_STATS: False
  NUM_BATCHES_PRECISE: 200
SOLVER:
  MOMENTUM: 0.9
  WEIGHT_DECAY: 1e-7
  OPTIMIZING_METHOD: sgd
MODEL:
  NUM_CLASSES: 80
  ARCH: slowfast
  MODEL_NAME: SlowFast
  LOSS_FUNC: bce
  DROPOUT_RATE: 0.5
  HEAD_ACT: sigmoid
TEST:
  ENABLE: False
  DATASET: ava
  BATCH_SIZE: 8
DATA_LOADER:
  NUM_WORKERS: 2
  PIN_MEMORY: True

NUM_GPUS: 1
NUM_SHARDS: 1
RNG_SEED: 0
OUTPUT_DIR: .

#TENSORBOARD:
#  MODEL_VIS:
#    TOPK: 2
DEMO:
  ENABLE: True
  LABEL_FILE_PATH: "/root/SlowFast/demo/AVA/ava.json"
  #WEBCAM: 0
  #下面两个文件夹是自己建立的(VINPUT和VOUTPUT)
  INPUT_VIDEO: "/root/SlowFast/VINPUT/1.mp4" #自己上传一段测试视频
  OUTPUT_FILE: "/root/SlowFast/VOUTPUT/2.mp4"

  DETECTRON2_CFG: "COCO-Detection/faster_rcnn_R_50_FPN_3x.yaml"
  DETECTRON2_WEIGHTS: https://dl.fbaipublicfiles.com/detectron2/COCO-Detection/faster_rcnn_R_50_FPN_3x/137849458/model_final_280758.pkl

最后，由于pythrch更新后有些模块不再被使用，需要将from torch._six import int_classes as _int_classes修改为：

int_classes = int
string_classes = str

三.测试

注意需要自己上传视频至VINPUT文件夹中

cd SlowFast
python tools/run_net.py --cfg demo/AVA/SLOWFAST_32x2_R101_50_50.yaml

最后结果

 

本文参考文章如下：（推荐大家也看看这位大佬的文章，我也是跟着他的操作实现的）

https://blog.csdn.net/qq_51223728/article/details/127915758

 

 

Maoyh_
关注
slowfast源码详解
qq_52053775的博客
10-15 2996
首先取出video_idx, sec_idx, sec, center_idx,center_idx，center_idx指的是该秒对应的图片帧的索引，以第一个视频第1秒为例，前面的video_idx, sec_idx均为0，sec应为902,对应标签文件中开始的视频时间（902秒),center_idx应为30,因为视频在准备数据的时候做了切分，截取了第15分钟到第25分钟的视频,同时每一秒包含30帧图像。此外，为了进行特征融合，在h,w维度k均为7，stride保持一致。并对小数进行双线性插值。
一、slowfast 代码复现
半夜汽笛的博客
05-15 8115
小心情：   今天刚刚在学校打完新冠疫苗，回来后写完的这篇博客，希望可以帮助到同行的小伙伴们，能够快速复现这个模型，可以帮助到你们节省学习时间，避免踩坑。然后对于合肥的突发疫情，希望大家都能在保证安全的基础上，积极工作学习，共筑祖国的健康与强大。为生在中国感到幸福。中国现在很好，将来会更好。此生无悔入华夏，来生愿在种花家。 目录一、SlowFast复现1.1 配置环境1.1.1 代码下载1.2 修改部分代码1.3 代码运行 一、SlowFast复现 1.1 配置环境 1.1.1 代码下载 官方地址： git
SlowFast学习
w_dues的博客
12-01 783
尽管图像分类的准确率已经很高，视频分类工作的准确度也仍达不到近似于人类的理解层次，因此不能用传统的卷积分类方法来对视频进行分类，于是Facebook的AI研究团队提出了一种新方法来SlowFast分析视频片段里的内容。该方法受启发于人类视网膜神经元的工作机制，使用了一个快通道来分析视频中人类的动作，还有一个慢通道来识别视频中人物活动的背景。
从零开始复现CLOCs算法（使用autodl）
最新发布
weixin_60261760的博客
02-16 1241
GitCode - 全球开发者的开源社区,开源代码托管平台https://gitcode.com/gh_mirrors/cl/CLOCs?主要下载第1（2D图像数据，解压后有training和testing两个文件夹，里面有名为image_2的数据）、第5（3D点云数据，解压后同上，里面有名为velodyne的数据）、第6、7（标签label和标定calib）要安装1.0版本，安装可参考1.2.1版本（一开始安装的1.2.1，但是在训练时会出现报错，还是老实安装1.0版本）nvcc -V查看cuda版本。
SlowFast代码运行复现
weixin_41823992的博客
12-14 4731
SlowFast代码复现
[SlowFast代码复现] 并用自己的视频进行检测
weixin_43720054的博客
08-03 5133
Linux下SlowFast环境安装与运行
SlowFast复现
qq_43428687的博客
03-21 5216
SlowFast复现目录参考环境准备配置slowfast环境代码修改测试有可能出现的错误 目录 参考 论文 github地址 参考博客： 【SlowFast复现】SlowFast Networks for Video Recognition复现代码 使用自己的视频进行demo检测 一、slowfast 代码复现 环境准备 windows下复现问题较多 租用网站的GPU:极链AI云平台 学生认证可以白嫖100云币券 创建实例 选择1个GPU就够用了 选择镜像 pytorch尽量选择最高版本的，上面两个博客
slowfast复现
重剑无锋博客
01-06 642
行为识别
【复现代码——环境配置】-AutoDL
闪闪发光的博客
04-23 2486
目前解决的问题是用 PyTorch 1.7.0，Pytorch 1.10.1 也可以。使用label=torch.argmax(label, dim=1) ，其中dim=1表示通道维度，亲测有效！以上的环境是必须要按照作者要求的安装，如果换其他的版本，就可能会出错。这里可选择conda安装，也可以pip安装，我一般选择pip 安装，conda 安装有时候不成功。安装PyTorch必须找到对应的cuda，所以先查看自己的服务器CUDA。以上，安装完代码需要的所有依赖，就可以训练或是测试了。
autodl部署复现UniAD--使用nuscenes v1.0-mini
cxzzjw的博客
12-08 1836
由于本人目前在研究端到端自动驾驶，不过算力有限，因此打算在autodl上部署复现一下经典的UniAD，但是踩了许多坑。特此写下来记录一下（与官方文档不同的部分用红色标出），也方便大家复现，少走弯路。
在AutoDL中复现yolov5-deepsort（自学习）
weixin_42875510的博客
08-08 391
yolov5-deepsort
slowfast:以给定的速率使视频变慢
06-17
SlowFast 与 JS 实验 SlowFast 是一个库拆分视频，用于播放不同的播放速率。 这个想法来自与 用法 使用页面中 html 中的视频创建 SlowFast 对象，并对每个部分的信息进行评分。 var video = document . querySelector ( 'video' ) // <video src="some_video.mp4"> var rates = [ { time : 0.0 , rate : 1.0 } , { time : 1.0 , rate : 2.0 } , { time : 2.5 , rate : 0.5 } ] var slowfast = new SlowFast ( video , rates ) slowfast . play ( ) 播放速率将增加或减少到每个块的线性函数的速率，这是默认的转换函数。 它可
【LLM多模态】CogVLM、CogAgent复现问题汇总
weixin_59060155的博客
03-29 779
最近在研究VLM模型，无意间发现了智谱23年12月发布的CogAgent模型[]，测了一下官方的网页demo，发现确实很好用，于是乎决定自己在云端服务器上部署一下，这篇文章总结我在私有化部署中遇到的一些小问题。
【论文复现记录】Image Disentanglement Autoencoder for Steganography without Embedding（IDEAS）-CVPR-2022
qq_50993545的博客
07-04 1358
记录一下这篇文章的代码复现过程，包括其中遇到的问题，欢迎交流（代码小白，多多包涵）
复现SlowFast的demo
weixin_42875510的博客
08-05 172
最近学着在AutoDL平台租用GPU，训练实例，复现的第一个实例是复现SlowFast，参考下面博主的文章实现：在AutoDL平台上复现SlowFast的demo_半城喧嚣、半城空的博客-CSDN博客效果如下：
[SlowFast]在NVIDIA Jetson Xavier 平台复现SlowFast
elegygg的博客
09-05 918
由于NVIDIA Jetson 平台的特殊性，在部署SlowFast时会遇到Python等的版本冲突问题，在此平台上部署比在一般linux平台上部署更加复杂。部署的时候走了太多弯路了，把部署的过程总结成本博客。
在AutoDL平台上复现SlowFast的demo
qq_51223728的博客
03-06 2125
一、前言 ​ 由于本业余人士水平有限，在复现过程中经历了种种报错，最终皇天不负有心人，我成功把demo跑出来了。源码地址：https://github.com/facebookresearch/SlowFast，但是由于官网一直有人维护，git下来的版本是最新代码，复现会出现各种问题。所以选择一个较老版本：参考https://blog.csdn.net/weixin_48841074/article/details/116807805 git clone https://gitee.com/qiang_su
在Colaboratory上配置运行Slowfast的demo
cdyyyyyyy的博客
02-19 563
在Colaboratory上运行行为识别项目Slowfast代码的流程和细节，以及相关问题的解答。
SlowFast的辛酸复现过程
normal_lk的博客
08-03 1882
Slowfast复现
SlowFast No module named 'vision'
01-09
### SlowFast 导入 `vision` 模块时出现的 No module named 'vision' 错误解决方案 当遇到 `No module named 'vision'` 的错误提示时，通常意味着 Python 解释器无法找到名为 `vision` 的模块。这可能是由于多种原因造成的，包括但不限于环境配置不正确、依赖库未安装或路径设置有误。 #### 1. 安装缺失的包 如果 `vision` 是某个特定库的一部分，则需要确认该库已正确安装。对于许多计算机视觉项目而言，常见的做法是通过 pip 或 conda 来管理软件包。可以尝试执行如下命令来安装可能缺少的相关库： ```bash pip install torchvision ``` 或者使用 Conda 进行安装： ```bash conda install pytorch torchvision torchaudio cudatoolkit=11.3 -c pytorch ``` 上述命令会安装 PyTorch 及其附带的工具集，其中包括了 `torchvision` 库，而后者提供了 `vision` 模块的功能[^2]。 #### 2. 验证虚拟环境中是否激活 确保当前使用的 Python 虚拟环境已经激活，并且是在这个环境下进行了必要的包安装。可以通过以下方式验证并切换到正确的环境： ```bash source activate your_env_name # 对于 Anaconda 用户 workon your_env_name # 如果使用 virtualenvwrapper 工具的话 ``` 之后再次测试能否成功导入所需的模块。 #### 3. 修改 PYTHONPATH 环境变量 有时为了使自定义编写的代码能够被其他脚本识别为可导入的模块，还需要调整系统的 `PYTHONPATH` 环境变量，将其指向包含目标源文件的位置。不过，在大多数情况下，只要按照官方文档说明完成所有依赖项的安装就无需额外处理此步。 #### 4. 查阅具体框架的要求 考虑到 SlowFast 特定版本可能存在特殊的依赖关系或其他注意事项，建议查阅该项目最新的 README 文件或是官方发布的指南，了解是否有特别指出关于如何准备开发环境的信息。
评论 6
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值