[SlowFast代码复现] 并用自己的视频进行检测

最新推荐文章于 2024-04-15 16:17:34 发布
最新推荐文章于 2024-04-15 16:17:34 发布
阅读量3.4k 收藏 34
点赞数 4
文章标签： pytorch 深度学习 python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43720054/article/details/126051206
版权

一、准备

1.1 SlowFast代码

官网地址：

https://github.com/facebookresearch/SlowFast

1.2 SlowFast环境准备

很多教程都说按照官方的 Installation来，本人尝试了很多次，很多包压根就装不上，如果有相同经历的朋友可以跟着我的步骤来，亲身经历且有效。

1.2.1 创建虚拟环境

 conda create -n SlowFast python=3.8

以下模块的安装均采用离线方式，git到本机然后传到服务器，再进行安装。

1.2.2 安装Pytorch

conda install pytorch==1.8.0 torchvision==0.9.0 torchaudio==0.8.0 cudatoolkit=11.1 -c pytorch -c conda-forge

1.2.3 安装cocoapi

（1）下载源码：https://github.com/philferriere/cocoapi

（2）编译源码： sudo /home/wzhou/anaconda3/envs/SlowFast/bin/python setup.py install

1.2.4 安装fvcore

（1）下载源码：https://github.com/facebookresearch/fvcore

（2）编译源码：python setup.py build --force develop

1.2.5 安装detectron2

是所有模块中安装最麻烦的一步

（1）下载源码：https://github.com/facebookresearch/detectron2

（2）将下载的包detectron2复制一份到site-packages下：

cp -r detectron2/ /home/wzhou/anaconda3/envs/SlowFast/lib/python3.8/site-packages

（3）修改以下内容（共6处）参考链接

第一处：修改detectron2的setup.py中最末尾的部分

第二处：修改site-packages\torch\utils\cpp_extension.py

（site-packages所在路径：/home/wzhou/anaconda3/envs/SlowFast/lib/python3.8/site-packages）

第三处：修改site-packages\torch\include\torch\csrc\jit\runtime\argumenta_spec.h

第四处：detectron2文件夹下：\detectron2\layers\csrc\ROIAlignRotated\ROIAlignRotated_cuda.cu，将所有的ceil改为ceilf

第五处：detectron2文件夹下：\detectron2\detectron2\layers\csrc\deformable\deform_conv_cuda_kernel.cu，将所有的floor改为floorf

第六处：将detectron2\layers\csrc\deformable下三个文件的AT_CHEK全换成TORCH_CHECK

（4）编译源码:  sudo /home/wzhou/anaconda3/envs/SlowFast/bin/python setup.py install

1.2.6 安装slowfast

（1）下载源码：https://github.com/facebookresearch/SlowFast

  (2)   修改文件:  将setup.py里的PIL改为pillow

（3）编译源码： sudo /home/wzhou/anaconda3/envs/SlowFast/bin/python setup.py install

1.2.7 安装 pythorchvideo

 （1）下载源码：https://github.com/facebookresearch/pytorchvideo

 （2）编译源码：pip install -e .

二、运行测试

2.1 制作label

建一个json文件，我命名为ava.json，保存至目录：demo\AVA\ava.json， 内容如下:

{"bend/bow (at the waist)": 0, "crawl": 1, "crouch/kneel": 2, "dance": 3, 
  "fall down": 4, "get up": 5, "jump/leap": 6, "lie/sleep": 7, "martial art": 8, 
  "run/jog": 9, "sit": 10, "stand": 11, "swim": 12, "walk": 13, "answer phone": 14, 
  "brush teeth": 15, "carry/hold (an object)": 16, "catch (an object)": 17, "chop": 18, 
  "climb (e.g., a mountain)": 19, "clink glass": 20, "close (e.g., a door, a box)": 21, 
  "cook": 22, "cut": 23, "dig": 24, "dress/put on clothing": 25, "drink": 26, 
  "drive (e.g., a car, a truck)": 27, "eat": 28, "enter": 29, "exit": 30, "extract": 31, 
  "fishing": 32, "hit (an object)": 33, "kick (an object)": 34, "lift/pick up": 35, 
  "listen (e.g., to music)": 36, "open (e.g., a window, a car door)": 37, 
  "paint": 38, "play board game": 39, "play musical instrument": 40, 
  "play with pets": 41, "point to (an object)": 42, "press": 43, 
  "pull (an object)": 44, "push (an object)": 45, "put down": 46, 
  "read": 47, "ride (e.g., a bike, a car, a horse)": 48, "row boat": 49, 
  "sail boat": 50, "shoot": 51, "shovel": 52, "smoke": 53, "stir": 54, 
  "take a photo": 55, "text on/look at a cellphone": 56, "throw": 57, 
  "touch (an object)": 58, "turn (e.g., a screwdriver)": 59, "watch (e.g., TV)": 60,
  "work on a computer": 61, "write": 62, "fight/hit (a person)": 63, 
  "give/serve (an object) to (a person)": 64, "grab (a person)": 65, 
  "hand clap": 66, "hand shake": 67, "hand wave": 68, "hug (a person)": 69, 
  "kick (a person)": 70, "kiss (a person)": 71, "lift (a person)": 72, 
  "listen to (a person)": 73, "play with kids": 74, "push (another person)": 75, 
  "sing to (e.g., self, a person, a group)": 76, "take (an object) from (a person)": 77, 
  "talk to (e.g., self, a person, a group)": 78, "watch (a person)": 79}

2.2 更改配置文件

修改SlowFast/demo/AVA/SLOWFAST_32x2_R101_50_50.yaml

TRAIN:
  ENABLE: False
  DATASET: ava
  BATCH_SIZE: 16
  EVAL_PERIOD: 1
  CHECKPOINT_PERIOD: 1
  AUTO_RESUME: True
  CHECKPOINT_FILE_PATH: '/home/wzhou/way/llwang/SFast/configs/AVA/c2/SLOWFAST_32x2_R101_50_50.pkl'  #path to pretrain model
  CHECKPOINT_TYPE: pytorch
DATA:
  NUM_FRAMES: 32
  SAMPLING_RATE: 2
  TRAIN_JITTER_SCALES: [256, 320]
  TRAIN_CROP_SIZE: 224
  TEST_CROP_SIZE: 256
  INPUT_CHANNEL_NUM: [3, 3]
DETECTION:
  ENABLE: True
  ALIGNED: False
AVA:
  BGR: False
  DETECTION_SCORE_THRESH: 0.8
  TEST_PREDICT_BOX_LISTS: ["person_box_67091280_iou90/ava_detection_val_boxes_and_labels.csv"]
SLOWFAST:
  ALPHA: 4
  BETA_INV: 8
  FUSION_CONV_CHANNEL_RATIO: 2
  FUSION_KERNEL_SZ: 5
RESNET:
  ZERO_INIT_FINAL_BN: True
  WIDTH_PER_GROUP: 64
  NUM_GROUPS: 1
  DEPTH: 101
  TRANS_FUNC: bottleneck_transform
  STRIDE_1X1: False
  NUM_BLOCK_TEMP_KERNEL: [[3, 3], [4, 4], [6, 6], [3, 3]]
  SPATIAL_DILATIONS: [[1, 1], [1, 1], [1, 1], [2, 2]]
  SPATIAL_STRIDES: [[1, 1], [2, 2], [2, 2], [1, 1]]
NONLOCAL:
  LOCATION: [[[], []], [[], []], [[6, 13, 20], []], [[], []]]
  GROUP: [[1, 1], [1, 1], [1, 1], [1, 1]]
  INSTANTIATION: dot_product
  POOL: [[[2, 2, 2], [2, 2, 2]], [[2, 2, 2], [2, 2, 2]], [[2, 2, 2], [2, 2, 2]], [[2, 2, 2], [2, 2, 2]]]
BN:
  USE_PRECISE_STATS: False
  NUM_BATCHES_PRECISE: 200
SOLVER:
  MOMENTUM: 0.9
  WEIGHT_DECAY: 1e-7
  OPTIMIZING_METHOD: sgd
MODEL:
  NUM_CLASSES: 80
  ARCH: slowfast
  MODEL_NAME: SlowFast
  LOSS_FUNC: bce
  DROPOUT_RATE: 0.5
  HEAD_ACT: sigmoid
TEST:
  ENABLE: False
  DATASET: ava
  BATCH_SIZE: 8
DATA_LOADER:
  NUM_WORKERS: 2
  PIN_MEMORY: True

NUM_GPUS: 1
NUM_SHARDS: 1
RNG_SEED: 0
#OUTPUT_DIR: .
#TENSORBOARD:
#  MODEL_VIS:
#    TOPK: 2
DEMO:
  ENABLE: True
  LABEL_FILE_PATH: "/home/wzhou/way/llwang/SFast/demo/AVA/ava.json"
  INPUT_VIDEO: "/home/wzhou/way/llwang/SFast/Vinput/fight_006.mp4"
  OUTPUT_FILE: "/home/wzhou/way/llwang/SFast/Voutput/fight_006.mp4"

  DETECTRON2_CFG: "COCO-Detection/faster_rcnn_R_50_FPN_3x.yaml"
  DETECTRON2_WEIGHTS: detectron2://COCO-Detection/faster_rcnn_R_50_FPN_3x/137849458/model_final_280758.pkl

注意：这两个文件是我自己建的

2.3 下载权重模型 

下载模型SLOWFAST_32x2_R101_50_50 .pkl 到SlowFast/configs/AVA/c2目录下，下载页面

 

 2.4 运行检测

cd SlowFast

python tools/run_net.py --cfg demo/AVA/SLOWFAST_32x2_R101_50_50.yaml

三、错误总结

        项目运行出来后，感觉也没有那么难搞了，但也确实花费我挺长时间的，就把我遇到的一些问题记录下来，其中不乏有python版本不匹配，以及下载的模块不是官方给定的，导致文件的缺失等等，也方便以后复盘。

3.1 error1

解决：  注释掉（没有任何依据，非常害怕后续的操作报错）

 后续貌似并没有出现什么问题。

3.2 error2

 解决：参考博客

 3.3 error3

 解决：注释掉这4个地方

 3.4 error4

 解决：原因是下载的detectron2不是官方的，导致model_zoo.py里的函数不全有缺失，重新下载官方提供的detectron2模块即可。

四、参考链接

博客1

博客2

博客3

博客4

August学AI
关注
  • 4
    点赞
  • 踩
  • 34
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
slowfast源码详解
qq_52053775的博客
10-15 2445
首先取出video_idx, sec_idx, sec, center_idx,center_idx，center_idx指的是该秒对应的图片帧的索引，以第一个视频第1秒为例，前面的video_idx, sec_idx均为0，sec应为902,对应标签文件中开始的视频时间（902秒),center_idx应为30,因为视频在准备数据的时候做了切分，截取了第15分钟到第25分钟的视频,同时每一秒包含30帧图像。此外，为了进行特征融合，在h,w维度k均为7，stride保持一致。并对小数进行双线性插值。
目标检测 pytorch复现Fast-RCNN目标检测项目
05-17
目标检测 pytorch复现Fast_RCNN目标检测项目 利用coco2017数据集训练Fast-RCNN模型（训练过程详细步骤记录）： （1）检测数据集利用选择搜索算法（selective-search）生成一定数量的候选框， （2）将候选框与真实...
【slowfast复现】SlowFast Networks for Video Recognition代码复现
dai_tou_dage的博客
11-13 2665
2021年11月13日复现slowfast 本文记录了利用大佬教程复现的过程，以及过程中遇到的问题和注意点。 教程参考： https://blog.csdn.net/WhiffeYF/article/details/113527759?spm=1001.2014.3001.5501 https://www.bilibili.com/video/BV1Pt4y1B7N9 极链AI云平台 可以用学生身份注册，会送100云币（100元） 全程跟着大佬教程复现即可，注意路径问题，基本不会遇见bug。 实验室服务器
【slowfast 训练自己的数据集】自定义动作，制作自己的数据集，使用预训练模型进行训练，并检测其结果
热门推荐
CSPhD-winston的博客
04-11 2万+
前言 终于到了这一步了，看了很久很久的slowfast，这次终于用slowfast训练了自己的数据集（只是用了个非常小的，非常小的数据集跑了一下） 在看这篇训练自己的数据集博客之前，我觉得有必要了解一下之前我写一些博客： 的slowfast的训练，slowfast的减少数据集 1：【SlowFast复现】SlowFast Networks for Video Recognition复现代码 使用自己的视频进行demo检测 2:【Faster RCNN & detectron2】detectron2实
SlowFast视频识别分类算法
最新发布
这里什么也没有
04-15 1032
本文提出了用于视频识别的 SlowFast 网络。该模型包含：1）Slow 路径，以低帧率运行，用于捕捉空间语义信息；2）Fast 路径，以高帧率运行，以较好的时间分辨率捕捉运动。可以通过减少 Fast 路径的通道容量，使其变得非常轻，同时学习有用的时间信息用于视频识别。该模型在视频动作分类和检测方面性能强大，而且 SlowFast 概念带来的重大改进是本文的重要贡献。在没有任何预训练的情况下，我们在 Kinetics 数据集上的准确率达到了 79.0%，远远超过之前的最佳水平。
【SlowFast复现】SlowFast Networks for Video Recognition复现代码 使用自己的视频进行demo检测
CSPhD-winston的博客
02-01 2万+
一，准备 1.1代码 SlowFast官网地址 代码下载： git clone https://github.com/facebookresearch/slowfast 这里建议使用码云来下载，使用上面的那个命令实在太慢，码云下载方法： git clone 显著提速，解决Github代码拉取速度缓慢问题 下载链接 1.2 环境准备 这里推荐几个网站，租用这些网站的GPU然后跑代码，因为普通的笔记本搭建图像处理的环境会遇到各种各样的问题。在网站上租用GPU可以使用官方搭建好的镜像，如果跑代码或者自己把环境弄
SlowFast复现
qq_43428687的博客
03-21 4696
SlowFast复现目录参考环境准备配置slowfast环境代码修改测试有可能出现的错误 目录 参考 论文 github地址 参考博客： 【SlowFast复现】SlowFast Networks for Video Recognition复现代码 使用自己的视频进行demo检测 一、slowfast 代码复现 环境准备 windows下复现问题较多 租用网站的GPU:极链AI云平台 学生认证可以白嫖100云币券 创建实例 选择1个GPU就够用了 选择镜像 pytorch尽量选择最高版本的，上面两个博客
【视频异常检测-论文阅读】Learning Not to Reconstruct Anomalies
小菜鸡的学习记录
09-15 684
为了缓解上面提到的问题，我们提出了一种新的方法来训练AEs，目标是只重建正常数据，而不管输入（即正常或异常）。 一种基于伪异常的新方法，该方法只鼓励正常数据重建，以在OCC设置中训练AEs 提出两种类型的伪异常，基于patch and skip frame，以模拟异常
深度学习模型试跑(五):SlowFast
qq_33642342的博客
10-28 2581
先贴几张图 代码要改的哦；模型暂时还没训练；GPU算了有需求；感觉一堆的坑.
Win10配置SlowFast全过程并使用slowfast进行视频行为识别检测
qq_44523137的博客
03-21 4837
Windows10配置SlowFast环境全过程 并使用自己的视频进行demo检测环境简介开始配置配置demo环境结果 环境简介 pycharm python=3.7.11 我就是不用linux，就要用window10配置。 你还需要安装git，下下来以后一直下一步即可。 可能还需要Visual Studio。 开始配置 首先下载官网的代码库 git clone https://github.com/facebookresearch/slowfast cd SlowFast 然后新建一个虚拟环境。 然后
pytorch复现Fast-RCNN目标检测项目
03-16
利用coco2017数据集训练Fast-RCNN模型（训练过程详细步骤记录）： （1）检测数据集利用选择搜索算法（selective-search）生成一定数量的候选框， （2）将候选框与真实标注框进行IOU（交并比）计算，将真是标注框的...
slowfast-network 何凯明源码
03-06
slow-fast network 何凯明最新论文源码，内含部分注释
PyTorchVideo是一个深度学习库，专注于视频理解工作-Python开发
05-25
PyTorchVideo是一个深度学习库，专注于视频理解工作。 PytorchVideo提供了可重用，模块化和高效的组件，这些组件可加快视频理解研究的速度。 PyTorchVideo使用PyTorch开发，并支持不同的深度学习视频组件，例如视频模型，视频数据集和特定于视频的转换。 用于视频理解研究的深度学习库。 检查网站以获取更多信息。 在Samsung Galaxy S10手机上运行的PyTorchVideo加速X3D模型。 该模型的运行速度比实时速度快约8倍，大约需要130毫秒才能处理一秒钟的视频。 一个基于PyTorchVideo的SlowFast模型，用于执行视频动作检测。 简介PyTorchVideo是一个深度学习库，专注于视频理解工作。 PytorchVideo提供可重复使用的模块化
slowfast:以给定的速率使视频变慢
06-17
SlowFast 与 JS 实验 SlowFast 是一个库拆分视频，用于播放不同的播放速率。 这个想法来自与 用法 使用页面中 html 中的视频创建 SlowFast 对象，并对每个部分的信息进行评分。 var video = document . querySelector ( 'video' ) // <video src="some_video.mp4"> var rates = [ { time : 0.0 , rate : 1.0 } , { time : 1.0 , rate : 2.0 } , { time : 2.5 , rate : 0.5 } ] var slowfast = new SlowFast ( video , rates ) slowfast . play ( ) 播放速率将增加或减少到每个块的线性函数的速率，这是默认的转换函数。 它可
22-8-6 mmaction2 slowfast训练配置 训练日志分析
08-06
包含配置文件： 训练日志：20220805_165139...训练配置：my_slowfast_kinetics_pretrained_r50_4x16x1_20e_ava_rgb.py 训练配置（为了测试训练集的效果）：my_slowfast_kinetics_pretrained_r50_4x16x1_20e_ava_rgb2.py
基于YOLO的人脸检测和人脸计数复现代码及过程.rar
06-23
Yolov5代码实现 修改和训练过程 及结果，课程设计
pytorch复现RetinaNet目标检测项目代码
04-27
pytorch复现RetinaNet目标检测项目代码
slowfast代码实现和论文理解
冰雪棋书的博客
03-31 9552
1、摘要 本文提出了用于视频识别的SlowFast网络。我们的模型包括： （1）一条slow pathway，以低帧速率运行，以捕获空间语义； （2）一条fast pathway，以高帧速率运行，以精细的时间分辨率捕获运动。 fast pathway可以通过减少通道容量而变得非常轻量，但可以学习有用的时间信息用于视频识别。模型在视频动作分类和检测方面都取得了较好的性能，我们的slowfast概念针对性能有很大的改进。并在Kinetics，Charades和AVA等基准上取得了最好的效果。 2、介绍 在识别图
detectron2和slowfast的安装与使用
leimingxiao的博客
03-07 4358
1.首先在github上下载slowfast和detectron2的代码，然后放到自己想放的位置，我是把detecron2放在slowfast文件夹里面，因为slowfast的使用要用到detectron2.（注：很多教程都是用git+http链接，外网网速不好的朋友会一直报错，最好复制Git后面的链接直接到官网下载zip包） 2.配置各种依赖项 配置依赖项时，由于我之前配置YOLOv5时新建的yolov5环境中已经安装了cuda11和torch1.7，opencv等依赖，其实只要安装fvcore等这种d
slowfast 代码复现 windows
05-21
slowfast 是一个基于 PyTorch 框架实现的视频分类模型。在 Windows 上进行 slowfast 代码的复现，需要先安装 PyTorch 和其他相关依赖。 以下是在 Windows 上复现 slowfast 的步骤： 1. 安装 Anaconda 在官网下载并安装 Anaconda，选择 Python 3.x 版本。 2. 创建虚拟环境 打开 Anaconda Prompt，输入以下命令创建一个名为 slowfast 的虚拟环境： ``` conda create -n slowfast python=3.7 ``` 激活虚拟环境： ``` conda activate slowfast ``` 3. 安装依赖 安装 PyTorch 和其他相关依赖： ``` conda install pytorch torchvision torchaudio cudatoolkit=11.0 -c pytorch pip install cython matplotlib opencv-python-headless scipy termcolor yacs ``` 如果没有 GPU，可以不安装 `cudatoolkit`。 4. 克隆代码 克隆 slowfast 代码： ``` git clone https://github.com/facebookresearch/SlowFast.git ``` 进入 SlowFast 目录： ``` cd SlowFast ``` 5. 编译运行库 在 SlowFast 目录下执行编译运行库： ``` cd slowfast python setup.py build develop ``` 6. 下载预训练模型 下载预训练模型，可以在 slowfast 官方 GitHub 上下载： ``` mkdir -p models/kinetics400 wget https://dl.fbaipublicfiles.com/slowfast/model_zoo/kinetics400/SLOWFAST_8x8_R50.pkl -O models/kinetics400/SLOWFAST_8x8_R50.pkl ``` 7. 运行示例 在 SlowFast 目录下运行示例： ``` python tools/run_net.py \ --cfg configs/Kinetics/c2/SLOWFAST_8x8_R50.yaml \ DATA.PATH_TO_DATA_DIR path/to/dataset \ TEST.CHECKPOINT_FILE_PATH models/kinetics400/SLOWFAST_8x8_R50.pkl ``` 其中，`path/to/dataset` 为数据集路径。 至此，slowfast 在 Windows 上的代码复现完成。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值