![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
动作识别
ystsaan
这个作者很懒,什么都没留下…
展开
-
TPN概述及训练(Temporal Pyramid Network for Action Recognition)(更新中)
参考:https://zhuanlan.zhihu.com/p/127366929TPN时间金字塔网络的概述,大概就是时间维度不变的3d resnet,再对不同层的输出进行空间维度对齐,再对这些对齐后的特征采用不同帧采样(因为不同层输出的时间维度不变),再进行对这些特征的融合后进行分类;具体和slowfast的概念相似,slowfast只有两个网络对应不同帧频,而TPN想要在不增加网络(计算量)的情况下融合更多的帧频的特征,但是TPN融合的一个模型各个层不同帧频的特征;...原创 2020-07-29 10:34:38 · 2079 阅读 · 0 评论 -
pyslowfast multigrid训练自己的数据集(没有把网络模型给抠出来再按照自己的训练,而是完全按照作者的代码命令训练)
安装:具体参考https://github.com/facebookresearch/SlowFast/blob/master/INSTALL.md注意点:1.使用conda install pytorch torchvision cudatoolkit=9.2在自己服务器的虚拟环境下安装pytorch时需要使得cudatoolkit与驱动版本(使用nvidia-smi查看)相匹配,不然torch.cuda.is_available()返回false使得安装的pytorch无法使用gpu加速;版本配对原创 2020-07-21 19:03:23 · 2792 阅读 · 6 评论 -
VidSage: Unsupervised Video Representational Learning with Graph Convolutional Networks个人论文笔记
模型主要从视觉和语义上编码一个视频:通过预训练的图像特征提取器提取视觉特征,再通过GCN变体来传播背景信息,获取视频语义3D CNN, LSTM, GCN(提取每帧人的关节作为关键点后产生的图像来预测动作)1.介绍通过GCN来对视频间的概念关联性进行建模:创建一个图Graph G,里面每个视频作为一个节点,然后基于视频间的语义相似性来形成节点间不同的连接;首先通过对比预训练好的图片特征提取器...原创 2020-04-15 13:47:34 · 981 阅读 · 0 评论 -
X3D: Expanding Architectures for Efficient Video Recognition个人论文笔记
https://zhuanlan.zhihu.com/p/129279351这篇X3D的解读写的比我早,写的挺好的,但有些细节没写上,所以由于强迫症写了这篇个人笔记X3D为一系列的高效视频分类网络(从2D图像分类网络不断的从各个方面(multiple network axes)进行扩张如帧频网络深度等等,每次只从一个方面进行扩张);渐进的前向扩张后是一个后向压缩从而达到一个固定复杂度的网络;X...原创 2020-04-17 21:29:49 · 2795 阅读 · 0 评论 -
FASTER Recurrent Networks for Efficient Video Classification论文笔记
通常可以从两个方面减少视频分类任务的时间,一是通过减少网络结构计算量,二是通过减少推理时如何结合每个clip通过网络得到预测;本文使用第二种方法为了减少推理时的计算量,根据本身一个常规的clip特征提取网络(会比较重量级,用于提取动作细节),再设计一个对应的轻量级的clip特征提取网络(用于提取背景变化),还有一个用来以推理时视频里的每个clip经过不同网络后的特征作为输入的RNN来对于视频进行...原创 2020-04-06 12:02:06 · 423 阅读 · 0 评论 -
3D CNN(视频分类网络)无预训练权重训练难以收敛问题在各视频分类网络论文中的解决综合(train from scratch)(更新中)
问题:视频分类网络像two stream i3d等都是直接在作者给的预训练权重上finetune自己的数据,然后在训练集上训练至过拟合。基本随便一个图像分类网络在任意一个数据集的训练集上都能收敛,但自己直接使用一个恒定的学习率来在自己的数据集train from scratch的话,只要3D CNN一大就从来就没有收敛过(自己用tf写的3D-ResNet, Non-local, s3d, p3d...原创 2020-04-05 19:43:36 · 1377 阅读 · 2 评论 -
i3d finetune(微调)
主要参考https://github.com/deepmind/kinetics-i3d/blob/master/evaluate_sample.py来恢复网络图。整个finetune流程跟我之前的博客https://blog.csdn.net/weixin_42388228/article/details/101209788中流程一样,总体来说就是先恢复网络图(包括添加自己的层),再把预训...原创 2020-01-22 13:16:54 · 1117 阅读 · 0 评论 -
SlowFastNet(SlowFast) finetune(微调)
import syssys.path.append('.../SlowFast-master/slowfast/config/')sys.path.append('.../SlowFast-master/slowfast/models/')sys.path.append('.../SlowFast-master/slowfast/utils/')import slowfast.models...原创 2020-01-22 13:17:30 · 2680 阅读 · 3 评论