tsn-pytorch代码实验

已于 2022-11-14 13:41:09 修改
阅读量1.7k 收藏 29
点赞数 11
文章标签： 深度学习 pytorch
于 2022-11-14 13:26:47 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_54599699/article/details/127844428
版权

本实验是在Linux服务器上完成。

目录

一、准备工作

1.1数据集准备

1.2代码准备

1.3环境准备

二、处理数据

2.1提取rgb和光流图片

2.2生成file_list

三、开始训练

3.1修改代码

3.2开始训练

四、测试工作

4.1修改代码

4.2开始测试

4.3模态融合

五、一些错误记录

六、总结

一、准备工作

1.1数据集准备

本文主要是为了复刻TSN论文中的实验，使用的是UCF101数据集

UCF101数据集：

 http://www.crcv.ucf.edu/data/UCF101/UCF101.rar

数据集划分方式：

https://www.crcv.ucf.edu/wp-content/uploads/2019/03/UCF101TrainTestSplits-RecognitionTask.zip

UCF101数据集从youtube收集而得，共包含101类动作。其中每类动作由25个人做动作，每人做4-7组，共13320个视频，分辨率为320*240，共6.5G。
UCF101在动作的采集上具有非常大的多样性，包括相机运行、外观变化、姿态变化、物体比例变化、背景变化、光纤变化等。

下载完成后，UCF-101文件夹共101个子目录，其中每个子目录分别有若干相同动作的视频，ucfTrainTestlist文件夹下共有3种划分方式，在后续实验过程中自行选择。

1.2代码准备

需要使用tsn-pytorch和mmaction的代码，后期模态融合需要借鉴Temporal Segment Networks代码，这里直接从GitHub上拉取

tsn-pytorch：

git clone --recursive https://github.com/yjxiong/tsn-pytorch

mmaction：

git clone --recursive https://github.com/open-mmlab/mmaction.git
temporal-segment-networks：

git clone --recursive https://github.com/yjxiong/temporal-segment-networks

1.3环境准备

这里主要是进行mmaction环境配置，mmaction是基于pytorch用于视频理解的开源工具箱，利用mmaction进行提帧和提取光流操作以及生成文件列表作为tsn-pytorch模型的输入。本实验使用的是Anaconda创建虚拟环境，根据cuda版本安装pytorch（在安装pytorch过程中会伴随安装本实验所需要的cuda以及nvcc），pytorch下载网址如下：

https://pytorch.org/

对于mmcv安装注意要根据pytorch和cuda版本安装对应版本，可利用此网址查看mmcv版本

Installation — mmcv 1.7.0 documentation

在安装Denseflow的时候可能会产生一些问题，可以通过百度解决。

二、处理数据

首先在mmaction/data/下创建一个UCF101文件夹，用于存放数据集相关文件，并建立如下三个目录

它们的作用为：

annotations：ucf101之后进行分割训练集、测试集的依据文件

rawframes：视频提帧后存放的文件目录

videos：复制ucf101数据集中的101个文件目录（考虑平台存储空间和运行时间，这里仅拷贝3个）

2.1提取rgb和光流图片

参照github上mmaction项目数据处理步骤提取rgb和光流图片，这个过程会很漫长尤其是用denseflow提取光流操作，对101类视频提取光流可能要花费数天，得到的文件大约300多G。

提取完成后会在rawframes目录下发现flow_x,flow_y和img三种名称的图片。

2.2生成file_list

参照github上mmaction项目数据处理步骤生成file_list.

操作完成后会生成相应文件列表。

ucf101_train_split_1_rawframes.txt，ucf101_train_split_2_rawframes.txt，ucf101_train_split_3_rawframes.txt是训练文件

ucf101_val_split_1_rawframes.txt，ucf101_val_split_2_rawframes.txt，ucf101_val_split_3_rawframes.txt是测试文件，1,2,3三类文件可以使用任意一类，

file_list中有三列，第一列代表文件的地址，第二列代表视频的帧数，第三列代表视频的类别。这里仅仅使用ucf101的3个文件夹，所以类别只有0 1 2。

三、开始训练

3.1修改代码

1.ucf有101个类别，这里仅测试了3种所以修改代码

2.在TSNDataSet中，将将args.train_list和args.val_list改为2.2生成文件的绝对路径(任选一个)，所以将代码修改为

训练路径

测试路径

3.因为我们只选取了三个类别，而pytorch的topk算法默认是(1,5)，所以还要对这部分进行更改，否则会报越界错误，更改部分如下图

可以搜索在main.py中搜索topk关键字，将其改为(1,3)，为了方便，前面的prec5不再做更改，在后期输出时注意区分即可。

3.2开始训练

在tsn-pytorch的README中有训练和测试命令，其中训练命令如下

第一种，即RGB模态下分段为3的网络，切换到tsn-pytorch目录下，运行下面的命令开始训练，训练5个epoch。

python main.py ucf101 RGB /workspace/TSN2/mmaction/data/ucf101/ucf101_train_split_1_rawframes.txt /workspace/TSN2/mmaction/data/ucf101/ucf101_val_split_1_rawframes.txt --num_segments 3 --gd 20 --lr 0.001 --lr_steps 30 60 --epochs 5 -b 8 -j 8 --dropout 0.8 --snapshot_pref ucf101_bninception_

运行后可看到一些预设参数

第二种，即Flow模态下分段为3的网络，切换到tsn-pytorch目录下，运行下面的命令开始训练，训练5个epoch。

python main.py ucf101 Flow /workspace/TSN2/mmaction/data/ucf101/ucf101_train_split_1_rawframes.txt /workspace/TSN2/mmaction/data/ucf101/ucf101_val_split_1_rawframes.txt --num_segments 3 --gd 20 --lr 0.001 --lr_steps 190 300 --epochs 5  -b 1 -j 8 --dropout 0.7 --snapshot_pref ucf101_bninception_ --flow_pref flow_

模型文件保存

四、测试工作

4.1修改代码

测试需要对tsn-pytorch目录下test_models.py进行一些修改

1.修改分段数，减少运算量

2.修改ucf类别数

3.修改为单gpu运行

4.2开始测试

同样从README文件中获取测试命令，执行

仅测试rgb

python test_models.py ucf101 RGB /workspace/TSN2/mmaction/data/ucf101/ucf101_val_split_1_rawframes.txt ucf101_bninception__rgb_checkpoint.pth.tar --save_scores RGB_SCORE_FILE

首先打印TSN相关配置

测试过程很快，测试结果如下：

仅测试光流

首先打印TSN相关配置

测试过程很快，测试结果如下：

python test_models.py ucf101 Flow /workspace/TSN2/mmaction/data/ucf101/ucf101_val_split_1_rawframes.txt ucf101_bninception__flow_checkpoint.pth.tar --save_scores FLOW_SCORE_FILE

执行上述测试命令时会生成得分文件

4.3模态融合

借鉴Temporal Segment Networks代码

1.修改工作

切换至temporal-segment-networks目录下，打开/temporal-segment-networks/pyActionRecog/utils目录下metric文件添加softmax函数

2.执行

python tools/eval_scores.py RGB_SCORE_FILE.npz FLOW_SCORE_FILE.npz --score_weights 1 1.5

五、一些错误记录

在实验过程中遇到了很多错误这里列举一些，仅对个人有效合理采纳即可。

1. pytorch版本高于1.3会出现一些小问题，可百度解决。

2.在输入rgb训练时报错

解决方法：

3.安装opencv-4.1和dense_flow，执行make时发生大量报错

解决方法：参考教程

https://seventhblue.blog.csdn.net/article/details/105210496?spm=1001.2014.3001.5502

4.训练时超出显存

解决方法：调小batch-size

5.路径发生错误（在实验中发生了数次）

解决方法：仔细检查命令是否输入正确，比如光流测试时用到训练时生成的.pth文件，文件名称确保正确。

6.光流测试时报错，生成的文件名称和使用的文件名称不一样，代码问题。

解决方法：

7.实验过程还有一些小bug，比如光流训练时，最后这一张光流图片找不到。

解决方法：

在dataset.py文件中length-1.

六、总结

TSN算法是行为识别领域一个经典的算法，共有基于caffe和pytorch两个版本，对于pytorch版本网上关于rgb输入模型进行训练有很多教程，本人也是在这些教程的帮助下历时两周，最终以上述方式完成了测试，写下来希望大家再做上述工作的时候能少踩些坑，大家加油。

星辰大海～～
关注
  • 11
    点赞
  • 踩
  • 29
    收藏
    觉得还不错? 一键收藏
  • 8
    评论
TSN算法的PyTorch代码解读（训练部分）
AI之路
01-14 3万+
这篇博客来读一读TSN算法的PyTorch代码，总体而言代码风格还是不错的，多读读优秀的代码对自身的提升还是有帮助的，另外因为代码内容较多，所以分训练和测试两篇介绍，这篇介绍训练代码，介绍顺序为代码运行顺序。TSN算法的介绍可以参考博客TSN(Temporal Segment Networks)算法笔记。 论文：Temporal Segment Networks: Towards Good Pr
TSN实验过程
qq_39862223的博客
09-08 7625
论文链接：https://arxiv.org/abs/1608.00859 代码链接：https://github.com/yjxiong/tsn-pytorch 1.数据准备阶段 1.1 数据集介绍 在视频分类项目中，有很多经典的公开数据集，目前主要的数据集如列表所示： 数据集 视频数 分类数 发布年 背景 KTH 600 6 2004 静态 HMDB51 6766 51 2011 动态 UCF101 13320 101 2012 动态 THUMOS-2014 18394 1.
tsn-pytorch：PyTorch中的时间段网络（TSN）
02-04
TSN-Pytorch 我们已经发布了 ，这是一个基于PyTorch的成熟的动作理解工具箱。 它包括用于TSN的实现以及用于各种任务的其他STOA框架。 我们在此回购中吸取的教训已纳入MMAction中，以使其更具吸引力。 我们强烈建议您切换到它。 此回购将保留在此处以供历史参考。 注意：请始终使用git clone --recursive https://github.com/yjxiong/tsn-pytorch克隆此项目。 否则，您将无法使用初始系列CNN拱门。 这是PyTorch中的时域网（TSN）的重新实现。 所有设置均保持与原始caffe实施相同。 对于光流提取和视频列表生
探索高效视频理解：TSN-pytorch 项目详解
最新发布
gitblog_00076的博客
04-24 277
探索高效视频理解：TSN-pytorch 项目详解 项目地址:https://gitcode.com/JJBOY/TSN-pytorch 该项目【https://gitcode.com/JJBOY/TSN-pytorch】是一个基于 PyTorch 的时空凝视网络（Temporal Segment Networks, TSN）实现，专注于视频理解和动作识别任务。TSN 是一种先进的计算机视觉模型，...
TSN（Temporal Segment Networks）代码实验
Can的博客
03-26 1万+
前言：Temporal Segment Networks (TSN)是在 ECCV 2016 上提出的，作者是Limin Wang, Yuanjun Xiong, Zhe Wang, Yu Qiao, Dahua Lin, Xiaoou Tang, and Luc Van Gool，是一个用于视频中人的行为识别的框架。论文中数据集表现：HMDB51(69.4%)、UCF101（94.2%），在 A...
基于TCN时间序列预测Python程序
黑科技小土豆的博客
03-01 2317
基于TCN时间序列预测Python程序
TSN论文阅读
qq_41533576
08-20 862
一、介绍TSN TSN（Temporal Segment Networks）即时间段网络。 论文首先提出目前深层次的卷积神经网络在图像识别方面已经非常成功了，但是在视频识别上的优势并不明显。 然后引出TSN这种新的基于分段采样聚合的模块，用于对长范围时间结构建模，这种模型在动作识别方面通过平均池化和多尺度时间窗口融合可以轻松适应已剪辑的与未剪辑的视频。 TSN结构在几个动作识别数据集上的表现都不错，在UCF101上的准确率达到了94.9%。 二、Why need TSN？ 传统方式进行视频中动作识别的障碍
Python-PyTorch行为识别模型库
08-11
这个主题与“Python-PyTorch行为识别模型库”紧密相关，它涉及到使用Python编程语言和PyTorch框架来构建和应用深度学习模型，以理解和识别视频中的动作。下面我们将深入探讨这一领域的关键知识点。 首先，**PyTorch...
action-recognition-models-pytorch:pytorch的动作识别模型
05-10
- `action-recognition-models-pytorch-master` 文件夹包含各个模型的实现代码，每个模型可能有单独的子文件夹，包括网络结构定义、训练脚本、数据预处理等部分。 - 数据预处理通常涉及视频剪辑、帧采样、颜色归一...
action-recognition-pytorch:这是一些代表性动作识别方法的pytorch实现，包括I3D，S3D，TSN和TAM
05-03
该存储库包含用于动作识别的6种代表性2D和3D方法的一般实现，包括I3D [1]，ResNet3D [2]，S3D [3]，R（2 + 1）D [4]，TSN [5]和TAM [ 6]。 这些代码用于我们对动作识别的分析。 陈春福（Richard）Chen *，Rameswar ...
Excelfore-TSN-Solution.pdf
04-17
Excelfore-TSN-Solution.pdf 本文档主要介绍了Excelfore公司的TSN（Time-Sensitive Networks）解决方案，及其在汽车行业中的应用。 知识点1：什么是TSN？ TSN（Time-Sensitive Networks）是AVB（Audio Video ...
一种EtherCAT与TSN网络互通的实现方法
01-12
目前工业互联网迅速发展，EtherCAT是应用最为广泛的多种的实时工业以太网协议之一，其实时性和确定性都有很强的保证。但在互操作性和带宽成本等方面略有不足。本文基于EtherCAT现场总线网络和TSN时间敏感网络之间的互联互通的目的，设计时间同步与流量调度实验，得到时间精度在50ns浮动的数据并且流量调度实验结论也符合预期。因此，文章提出的互通方法支持TSN协议中的时间同步与流量调度特性，且实现了EtherCAT/TSN网络的融合以简化了网络的部署和管理。
UPFlow_pytorch:UPFlow的PyTorch实施（无监督光流学习）
04-08
UPFlow：用于无监督光流学习的金字塔上采样 昆明罗，， ，，， 电子科技大学梅格维技术 [] @article{luo2020upflow, title={UPFlow: Upsampling Pyramid for Unsupervised Optical Flow Learning}, author={Luo, Kunming and Wang, Chuan and Liu, Shuaicheng and Fan, Haoqiang and Wang, Jue and Sun, Jian}, journal={arXiv preprint arXiv:2012.00212}, year={2020} } 介绍 我们提出了一种无监督的学习方法，用于通过改善金字塔网络的上采样和学习来进行光流估计。 我们设计了一个自我指导的上采样模块，以解决由金字塔等级之间的双线性上采
TSN算法的PyTorch代码解读（测试部分）
AI之路
01-14 1万+
这篇博客介绍TSN算法的PyTorch代码的测试部分，建议先看训练部分的代码解读：TSN算法的PyTorch代码解读（训练部分），test_moels.py是测试模型的入口。 前面模块导入和命令行参数配置方面和训练代码类似，不细讲。 import argparse import time import numpy as np import torch.nn.parallel import t
工业4.0的网络技术（TSN）
姚家湾博客
04-11 1万+
TSN 的全称是时间敏感网络（Time-Sensitive Networking），是IEEE802.1 工作组的时间敏感网络任务组制定的一组标准（EEE 802.1Q）。主要用于在以太网络上传输时间敏感的实时数据。它将是未来汽车，工业4.0 中的主要网络技术之一。和opc ua 协议相结合，成为工业控制的网络基础。国际大公司都投入了巨大的人力物力在开发和融合中，预计在未来几年内技...
传统以太网和时间敏感网络TSN的区别
热门推荐
conquerw的专栏
08-04 1万+
——Biamp亚太区高级工程师   Kane Zhang 【专业视听网报道】：[摘要]AVB-Audio Video Bridging(中文“音视频桥”)是一项新的以太网标准，由IEEE 802.1任务组于2005开始制定。其中包括：带宽预留(Bandwidth Reservation Protocol)、精准时钟同步(Precision Time Protocol)、流量控制(Traf
TSN 编译记录
未到初级图像处理工程师
05-24 3115
TSN代码编译记录 前言 TSN 作者yjxiong etc.开源了代码并且公布了自己训练的所有模型，提供了使用GPU得到tvl1光流的方法,以及几种数据集切分的方法，比自己的渣代码顺眼很多,这个项目很赞～ TSN-Project 但是（据说但是前都是废话）,DL框架用的Caffe，提供的自然是caffemodel和prototxt文件，习惯了tensorflow和pyTorch，表示...
TSN算法的PyTorch代码解读
杨杨子江的博客
09-04 1304
https://blog.csdn.net/u014380165/article/details/79058147
基于FAST的TSN交换（7）TSN网络接口适配器需求分析与实现模型
m0_37537704的博客
02-02 2391
基于FAST的TSN交换（7）TSN网络接口适配器需求分析与实现模型     TSN网络实现确定性的分组交换不但需要TSN交换机，TSN接口适配器以及管理控制系统配合实现，而且必须能够清晰的给出时间敏感流量的规范特性。由于TSN技术发展迅速，新标准和修订不断涌现，特别是面向特定行业的解决方案差异较大，因此不同厂商的TSN设备互联互通十分困难。TSN解决方案提供商必须提供TSN网络整套解决方案，在研...
tsn-pytorch
07-28
TSN (Temporal Segment Networks) 是一种用于动作识别的深度学习模型。它通过将视频分割成多个时间段，并提取每个时间段的特征来捕捉视频中的动作信息。PyTorch 是一个流行的深度学习框架，提供了丰富的工具和库来构建和训练神经网络模型。 关于 TSN 在 PyTorch 中的实现，CSDN 上有一篇名为 "PyTorch 实现TSN（Temporal Segment Networks）" 的博文介绍了如何使用 PyTorch 实现 TSN 模型。你可以在 CSDN 上搜索这篇文章以获取更多关于 TSN 在 PyTorch 中的详细信息。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 8
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值