Python快速实现PySlowFast视频理解

最新推荐文章于 2025-02-24 17:41:32 发布
最新推荐文章于 2025-02-24 17:41:32 发布
阅读量3.3k 收藏 28
点赞数 10
分类专栏： Python 文章标签： Python 视频理解 行为识别 深度学习 计算机视觉
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/lly1122334/article/details/118112413
版权

文章目录

简介

PySlowfast 是 FAIR 开源的基于 PyTorch 的视频理解代码库，让研究者可以轻而易举地复现从基础至前沿的视频识别 (Video Classification) 和行为检测 (Action Detection) 算法。

论文：SlowFast Networks for Video Recognition

AVA

本文系统为Windows，装起来还是挺痛苦的，建议使用Linux系统

本人使用的显卡为MX350显存2GB，配好了，跑不动hhh

Linux搭建环境可参考这篇文章




安装

1. Python

Python版本 ≥ 3.8

Python 3.8.10



2. CUDA和cuDNN

参考 这篇文章



3. PyTorch

安装PyTorch>=1.7

进入官网选择版本后执行命令，安装PyTorch同时要安装torchvision
在这里插入图片描述
如本人显卡为MX350，CUDA为11.0

pip install torch==1.7.1+cu110 torchvision==0.8.2+cu110 torchaudio==0.7.2 -f https://download.pytorch.org/whl/torch_stable.html



4. Python库

pip install fvcore
pip install simplejson
pip install psutil
pip install opencv-python
pip install tensorboard
pip install moviepy
pip install pytorchvideo
pip install sklearn
pip install pandas



5. PyAv

下载 ffmpeg ，关键词：win64-gpl-shared

解压到C盘并将文件夹重命名为：ffmpeg

添加环境变量Path：C:\ffmpeg\bin
在这里插入图片描述
安装 PyAv

pip install av

测试视频

import av

container = av.open('1.mp4')

for frame in container.decode(video=0):
    frame.to_image().save('frame-%04d.jpg' % frame.index)



6. gcc 和 g++

gcc 和 g++ 是由 GNU 开发的 C 和 C++ 编程语言编译器

下载 MinGW-W64 并安装，记住安装路径如 C:\mingw-w64
在这里插入图片描述
添加环境变量 Path：C:\mingw-w64\mingw64\bin
在这里插入图片描述
查看版本

gcc --version
g++ --version

在这里插入图片描述

下载 mingw-get-setup.exe 并安装，记住安装路径如 C:\MinGW

添加环境变量 Path：C:\MinGW\bin
在这里插入图片描述
执行命令安装 GCC 和 G++

mingw-get install gcc
mingw-get install g++

在这里插入图片描述
查看版本

gcc --version
g++ --version



7. Visual Studio 2015

可能需要也可能不需要，只要后面 ninja 编译能通过就行



8. Visual Studio 2019

下载 Visual Studio 2019 Community 社区版

IDE安装路径：C:\Program Files (x86)\Microsoft Visual Studio\2019\Community

工作负荷勾选【使用 C++ 的桌面开发】
在这里插入图片描述

配置环境变量 Path（版本号会有所不同）：C:\Program Files (x86)\Microsoft Visual Studio\2019\Community\VC\Tools\MSVC\14.29.30037\bin\Hostx64\x64

执行命令：cl
在这里插入图片描述
如果之前装了其他版本的Visual Studio，需要重置编译器（如上版本号是14.29.30037，则把call命令最后版本替换为14.29）：

SET MSSdk=1
SET DISTUTILS_USE_SDK=1
call "C:\Program Files (x86)\Microsoft Visual Studio\2019\Community\VC\Auxiliary\Build\vcvarsall.bat" amd64 -vcvars_ver=14.29



9. ninja

git clone https://github.com/ninja-build/ninja.git

打开 Visual C++ 2015 x86 x64 Cross Build Tools Command Prompt.exe

cd ninja
python configure.py --bootstrap

在这里插入图片描述
配置环境变量 Path：D:\mycode\ninja
在这里插入图片描述



10. Detectron2

git clone https://github.com/facebookresearch/detectron2
cd detectron2
python setup.py clean --all
python setup.py build --force develop

在这里插入图片描述
测试图片 test.jpg
COCO_val2014_000000000395.jpg

直接点击下方超链接下载 模型库 里的模型，测试图片test.jpg放在image文件夹中，新建文件夹output，模型文件放在model文件夹中

目标检测（Object Detection）

python demo/demo.py --config-file configs/COCO-Detection/faster_rcnn_R_50_FPN_3x.yaml --input image/test.jpg --output output/1.jpg --opts MODEL.WEIGHTS 'model/model_final_b275ba.pkl'


实例分割（Instance Segmentation）

python demo/demo.py --config-file configs/COCO-InstanceSegmentation/mask_rcnn_R_50_FPN_3x.yaml --input image/test.jpg --output output/2.jpg --opts MODEL.WEIGHTS 'model/model_final_f10217.pkl'

在这里插入图片描述
人体关键点检测（Person Keypoint Detection）

python demo/demo.py --config-file configs/COCO-Keypoints/keypoint_rcnn_R_50_FPN_3x.yaml --input image/test.jpg --output output/3.jpg --opts MODEL.WEIGHTS 'model/model_final_a6e10b.pkl'

在这里插入图片描述
全景分割（Panoptic Segmentation）

python demo/demo.py --config-file configs/COCO-PanopticSegmentation/panoptic_fpn_R_101_3x.yaml --input image/test.jpg --output output/4.jpg --opts MODEL.WEIGHTS 'model/model_final_cafdb1.pkl'

在这里插入图片描述



11. SlowFast

git clone https://github.com/facebookresearch/SlowFast.git
cd SlowFast
python setup.py build develop
python setup.py clean --all
python setup.py build --force develop

报错 error: Could not find suitable distribution for Requirement.parse(‘PIL’)

将 setup.py 中的 PIL 改为 pillow



总结

库功能
PyTorch深度学习框架
fvcoreFAIR团队开发计算机视觉框架中的核心功能
torchvisionpytorch中的数据集，模型和图片转换工具
simplejsonJSON编解码器
PyAVFFmpeg的Python接口
psutil跨平台进程和系统监控
opencv-python计算机视觉库
tensorboardTensorFlow的可视化工具包
moviepy视频编辑库
PyTorchVideo视频理解研究的深度学习库
Detectron2检测和分割算法库

参考文献：

  1. Installation — PyAV Documentation
  2. Python调用FFmpeg库——PyAV
  3. Windows Python安装pyav
  4. Python安装pyav库踩过的那些坑
  5. detectron2 INSTALL.md
  6. 在 Windows 上安装新版本 gcc/g++
  7. Windows10下安装detectron2超详细教程
  8. win10下 安装 Detectron2(0.4) (VS2019 + cuda11 + pytorch1.8)
  9. detectron2 安装
  10. OpenPose Examples




术语

视频识别基准（Benchmarks）

  1. Kinetics：视频识别。根据版本不同，该数据集包含多达65万个视频片段的URL链接，涵盖400/600/700个人类动作类。这些视频包括弹奏乐器等人和物互动，以及握手和拥抱等人与人之间的互动。每个动作类至少有400/600/700个视频剪辑。每个剪辑都带有一个单独的动作类，持续约10秒。
  2. Charades：一个指导我们研究非结构化视频活动识别和日常人类活动常识推理的数据集。
  3. AVA：行为检测。AVA数据集对430个电影剪辑中的80个小视觉动作进行了细致注释，这些动作在空间和时间上都是本地化的，产生了1.62万个动作标签，每个人有多个标签。剪辑是从15分钟的连续电影片段中提取的，为对活动进行时间推理打开了大门。数据集被分成235个视频用于训练，64个视频用于验证，131个视频用于测试。

X3D：扩展高效视频识别架构




初试

下载 SLOWFAST_32x2_R101_50_50.pkl 放到 SlowFast\demo\AVA

新建 ava.json 放到 SlowFast\demo\AVA

{"bend/bow (at the waist)": 0, "crawl": 1, "crouch/kneel": 2, "dance": 3, "fall down": 4, "get up": 5, "jump/leap": 6, "lie/sleep": 7, "martial art": 8, "run/jog": 9, "sit": 10, "stand": 11, "swim": 12, "walk": 13, "answer phone": 14, "brush teeth": 15, "carry/hold (an object)": 16, "catch (an object)": 17, "chop": 18, "climb (e.g., a mountain)": 19, "clink glass": 20, "close (e.g., a door, a box)": 21, "cook": 22, "cut": 23, "dig": 24, "dress/put on clothing": 25, "drink": 26, "drive (e.g., a car, a truck)": 27, "eat": 28, "enter": 29, "exit": 30, "extract": 31, "fishing": 32, "hit (an object)": 33, "kick (an object)": 34, "lift/pick up": 35, "listen (e.g., to music)": 36, "open (e.g., a window, a car door)": 37, "paint": 38, "play board game": 39, "play musical instrument": 40, "play with pets": 41, "point to (an object)": 42, "press": 43, "pull (an object)": 44, "push (an object)": 45, "put down": 46, "read": 47, "ride (e.g., a bike, a car, a horse)": 48, "row boat": 49, "sail boat": 50, "shoot": 51, "shovel": 52, "smoke": 53, "stir": 54, "take a photo": 55, "text on/look at a cellphone": 56, "throw": 57, "touch (an object)": 58, "turn (e.g., a screwdriver)": 59, "watch (e.g., TV)": 60, "work on a computer": 61, "write": 62, "fight/hit (a person)": 63, "give/serve (an object) to (a person)": 64, "grab (a person)": 65, "hand clap": 66, "hand shake": 67, "hand wave": 68, "hug (a person)": 69, "kick (a person)": 70, "kiss (a person)": 71, "lift (a person)": 72, "listen to (a person)": 73, "play with kids": 74, "push (another person)": 75, "sing to (e.g., self, a person, a group)": 76, "take (an object) from (a person)": 77, "talk to (e.g., self, a person, a group)": 78, "watch (a person)": 79}

修改 SLOWFAST_32x2_R101_50_50.yaml

#TENSORBOARD:
#  MODEL_VIS:
#    TOPK: 2
DEMO:
  ENABLE: True
  LABEL_FILE_PATH: "D:/mycode/SlowFast/demo/AVA/ava.json" # Add local label file path here.
#  WEBCAM: 0
  INPUT_VIDEO: "D:/mycode/SlowFast/demo/AVA/1.mp4"
  OUTPUT_FILE: "D:/mycode/SlowFast/demo/AVA/2.mp4"
  DETECTRON2_CFG: "COCO-Detection/faster_rcnn_R_50_FPN_3x.yaml"
  DETECTRON2_WEIGHTS: detectron2://COCO-Detection/faster_rcnn_R_50_FPN_3x/137849458/model_final_280758.pkl

执行命令

python tools/run_net.py --cfg demo/AVA/SLOWFAST_32x2_R101_50_50.yaml

若速度较慢，可手动下载 model_final_280758.pkl 放到 C:\Users\Administrator\.torch\iopath_cache\detectron2\COCO-Detection\faster_rcnn_R_50_FPN_3x\137849458 中

2GB显存，加载失败，报错RuntimeError: CUDA out of memory. Tried to allocate 58.00 MiB (GPU 0; 2.00 GiB total capacity; 1.03 GiB already allocated; 39.17 MiB free; 1.08 GiB reserved in total by PyTorch)




参考文献

  1. PySlowfast GitHub
  2. PySlowfast Paper
  3. 论文代码复现 SlowFast Networks for Video Recognition
  4. PySlowFast YouTube
  5. 视频行为识别ActionRecognition之无敌SlowFast
  6. Facebook开源算法代码库PySlowFast，轻松复现前沿视频理解模型
  7. AVA 在线查看
  8. SlowFast Networks for Video Recognition复现代码
  9. Cuda Error
PySlowFast是FAIR开源的视频理解代码库，提供最新的视频分类模型-python
06-18
PySlowFast是FAIR开源的视频理解代码库，提供最新的视频分类模型，包括论文“用于视频识别的SlowFast网络”和“非本地神经网络”。 PySlowFast PySlowFast 是 FAIR 的开源视频理解代码库，提供最先进的视频分类模型，包括论文“SlowFast Networks for Video Recognition”和“Non-local Neural Networks”。 简介 PySlowFast 的目标是提供高性能、轻量级的 pytorch 代码库，为视频理解研究提供最先进的视频主干。 它旨在支持新视频研究理念的快速实施和评估。 PySlowFast 包括以下骨干网络架构的实现：SlowFast SlowOnly C2D I3D 非本地网络更新 PySlowFast 与我们的 ICCV 2019 教程一起发布。 许可证 PySlowFast 在 Apache 2.0 许可证下发布。 Model Zoo 和 Baselines 我们提供了大量的基线结果和训练模型，可在 PySlowFast Model Zoo 中下载。 安装 请在 INSTALL
SlowFast：PySlowFast：FAIR的视频理解代码库，用于再现最新的视频模型
02-28
PySlowFast PySlowFast是FAIR的开源视频理解代码库，可提供经过有效培训的最新视频分类模型。 该存储库包括以下方法的实现： 介绍 PySlowFast的目标是提供高性能，轻量级的pytorch代码库，提供最新的视频主干，以用于对不同任务（分类，检测等）的视频理解研究。 它旨在支持快速实施和评估新颖的视频研究思想。 PySlowFast包括以下骨干网络体系结构的实现： 慢快 慢 C2D I3D 非本地网络 X3D 更新 现在，我们支持。 有关更多信息，请参见 。 我们现在支持以有效地训练视频模型。 有关更多信息，请参见多网格。 PySlowFast与我们的一起发布。 执照 PySlowFast是在下发行的。 动物园模型和基线 我们提供了大量的基线结果和经过培训的模型，可以在PySlowFast 进行下载。 安装 请在找到PyTorch和PySlowFast的安
Linux Python快速实现PySlowFast视频理解
XerCis的博客
06-28 2855
PySlowfast是FAIR开源的基于PyTorch的视频理解代码库，让研究者可以轻而易举地复现从基础至前沿的视频识别 (Video Classification) 和行为检测 (Action Detection) 算法。
windows安装pyslowfast平台踩的坑
最新发布
qq_46012730的博客
02-24 356
这个网站手动下载torch、torchvision的whl文件，保存到本地可以复用，万一你这个环境乱了又要创新的，省的再下载了。我试了直接pip install pytorchvideo还是会报错。先检查torch和torchvision版本，我的是以下版本。具体步骤参考上面的教程，以下只是我随手记的要注意的地方。yaml配置文件里gpu参数修改为NUM_GPUS: 0。所以从github下载（参考。
PySlowFast 平台的使用及解析——以X3D为例
a136522541的博客
01-19 4017
1.概述 PySlowFast 是Facebook近期开源的一个视频理解项目，其中包含了数个优秀论文的实现，包括SlowFast、X3D、I3D等。项目的地址在这里，本人最近正在做用该项目作视频行为识别的相关内容，因此本文讲述在应用PySlowFast的一些问题，主要是展示代码的运行过程。在查看相关论文后，发现X3D是项目中无论是准确率还是速度比较优秀的一个，因此采取该方案来做行为识别。 2. PySlowFast解读 下边结合代码来解读PySlowFast框架的运行。因为项目工作时间有限，只对训练部分作了
[SlowFast代码复现] 并用自己的视频进行检测
weixin_43720054的博客
08-03 5177
Linux下SlowFast环境安装与运行
slowfast实现行为识别
weixin_38226321的博客
11-12 2843
xavier+实现行为识别1.准备数据集2.slowfast部署3.参考 1.准备数据集 2.slowfast部署 conda create -n slowfast python=3.7 conda activate slowfast git clone https://gitee.com/qiang_sun/SlowFast.git cd SlowFast python setup.py build develop pip install portalocker pip install torchvi
Python实现PySlowFast视频理解教程
通过分析上述文件信息，我们可以知道标题和描述指向了一个关于在Linux环境下使用Python语言快速实现PySlowFast视频理解的教程或指南。PySlowFast库的使用，特别是SlowFast网络结构，对视频理解领域中的行为识别有着...
PySlowFast开源视频理解库的介绍与应用
它的设计宗旨是简化视频研究思想的快速实现与评估过程。 #### 实现的方法 PySlowFast 涵盖了多种视频骨干网络架构的实现，其中一些是当前视频理解领域的主流方法，比如： - 慢快网络（SlowFast Networks） - C2D...
PySlowFast：FAIR的高效视频理解代码库
资源摘要信息:"PySlowFast是一个开源的视频理解代码库，由FAIR（Facebook AI Research）开发，旨在帮助研究人员和开发者轻松地使用和实验最新的视频理解模型。PySlowFast的核心优势在于提供了一个高性能、轻量级的...
PySlowFast：FAIR最新视频模型实现的开源代码库
PySlowFast的发布对视频理解领域具有重要意义，因为它不仅提供了一个易用、高性能的视频处理工具，还为研究人员提供了一个能够快速实施和评估新思想的平台。通过提供现成的网络架构和预训练模型，PySlowFast大大简化...
AI视频行为识别之SlowFast测试实践
weixin_42291173的博客
06-18 4404
AI视频行为识别之3D-SlowFast测试实践安防智能行为识别定义及理解开源数据集算法模型基于深度学习的方法C-3D开源项目实战1.视频分析模型（行为识别）：C3D工作流程网络结构3D卷积和池化kernel 的时间深度2.视频行为识别ActionRecognition：SlowFast与Two Stream、C3D的区别测试使用的数据集测试及代码理解1、环境部署（打包成镜像后续可以使用）2、运行基于骨骼关键点的图卷积开源项目前置任务：人体姿态估计 安防智能行为识别 暴力伤医、校园霸凌、天灾人祸等事件频频发
slowfast代码实现和论文理解
热门推荐
冰雪棋书的博客
03-31 1万+
1、摘要 本文提出了用于视频识别的SlowFast网络。我们的模型包括： （1）一条slow pathway，以低帧速率运行，以捕获空间语义； （2）一条fast pathway，以高帧速率运行，以精细的时间分辨率捕获运动。 fast pathway可以通过减少通道容量而变得非常轻量，但可以学习有用的时间信息用于视频识别。模型在视频动作分类和检测方面都取得了较好的性能，我们的slowfast概念针对性能有很大的改进。并在Kinetics，Charades和AVA等基准上取得了最好的效果。 2、介绍 在识别图
Facebook开源算法代码库PySlowFast，轻松复现前沿视频理解模型
Python爬虫和机器学习专栏
02-04 965
文末有干货“Python高校”，马上关注真爱，请置顶或星标本文转载自：机器之心在近些年的视频理解研究中，Facebook AI Research 贡献了许多精彩的工作。近日，FAIR视...
SlowFast
whaosoft143ai的博客
11-11 4833
一个神器 并且模型转换加部署全套 我慢慢说来近年来，基于深度学习的人体动作识别的研究越来越多，slowfast模型提出了快慢两通道网络在动作识别数据集上表现十分优异，本文介绍Slowfast数据准备，如何训练，以及slowfast使用onnx进行推理，着重介绍了Slowfast使用Tensorrt推理，并且使用yolov5和deepsort进行人物追踪，以及使用C++ 部署。whaosoft aiot http://143ai.com
Win10 slowfast实现记录
souyan1991的博客
11-10 1967
Win10 slowfast实现记录 slow fast教程运行后报错 AttributeError: module 'torch.distributed' has no attribute 'is_initialized' 可能是pytorch版本问题，需要升级到1.7。 注意不要用官网的方法，用这个方法在虚拟环境下升级link 卸载当前版本的pytorch 进入虚拟环境，用pip卸载pytorch和torchvision pip uninstall torch pip uninstall to
PySlowFast开源项目使用指南
gitblog_00370的博客
08-07 512
PySlowFast开源项目使用指南 SlowFastPySlowFast: video understanding codebase from FAIR for reproducing state-of-the-art video models.项目地址:https://gitcode.com/gh_mirrors/sl/SlowFast 1. 目录结构及介绍 PySlowFast是一个由Fa...
Facebook开源算法代码库，轻松复现前沿视频理解模型
ctrigger的专栏
01-08 603
在近些年的视频理解研究中，Facebook AI Research 贡献了许多精彩的工作。近日，FAIR视频团队在 ICCV 相关研讨会上开源了视频识别检测代码库 PySlowFast，并同时发布了预训练的模型库。同时，该团队表示，他们还将实时将他们的前沿工作添加至此代码库。 项目地址：https://github.com/facebookresearch/SlowFast Tutor...
slowfast官方代码阅读过程中的Python基础补充（二）
Angelakeke的博客
05-22 518
什么是class，什么是instance，什么是object Class: 可以理解为一个组装工厂。假如我们要生产一个机器人，那我们先要搭个工厂吧。先确定：我们要先安装胳膊，再安装头，我们的小破机器人的流水线就搭好了。这个工厂比较智能，胳膊和头的数量都可以调。 class BuildRobot(): def __init__(self,armcount,headcount): self.armcount = armcount self.headcount = head
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

XerCis

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值