视频分类
ystsaan
这个作者很懒,什么都没留下…
展开
-
X3D: Expanding Architectures for Efficient Video Recognition个人论文笔记
https://zhuanlan.zhihu.com/p/129279351这篇X3D的解读写的比我早,写的挺好的,但有些细节没写上,所以由于强迫症写了这篇个人笔记X3D为一系列的高效视频分类网络(从2D图像分类网络不断的从各个方面(multiple network axes)进行扩张如帧频网络深度等等,每次只从一个方面进行扩张);渐进的前向扩张后是一个后向压缩从而达到一个固定复杂度的网络;X...原创 2020-04-17 21:29:49 · 2816 阅读 · 0 评论 -
VidSage: Unsupervised Video Representational Learning with Graph Convolutional Networks个人论文笔记
模型主要从视觉和语义上编码一个视频:通过预训练的图像特征提取器提取视觉特征,再通过GCN变体来传播背景信息,获取视频语义3D CNN, LSTM, GCN(提取每帧人的关节作为关键点后产生的图像来预测动作)1.介绍通过GCN来对视频间的概念关联性进行建模:创建一个图Graph G,里面每个视频作为一个节点,然后基于视频间的语义相似性来形成节点间不同的连接;首先通过对比预训练好的图片特征提取器...原创 2020-04-15 13:47:34 · 993 阅读 · 0 评论 -
FASTER Recurrent Networks for Efficient Video Classification论文笔记
通常可以从两个方面减少视频分类任务的时间,一是通过减少网络结构计算量,二是通过减少推理时如何结合每个clip通过网络得到预测;本文使用第二种方法为了减少推理时的计算量,根据本身一个常规的clip特征提取网络(会比较重量级,用于提取动作细节),再设计一个对应的轻量级的clip特征提取网络(用于提取背景变化),还有一个用来以推理时视频里的每个clip经过不同网络后的特征作为输入的RNN来对于视频进行...原创 2020-04-06 12:02:06 · 436 阅读 · 0 评论 -
3D CNN(视频分类网络)无预训练权重训练难以收敛问题在各视频分类网络论文中的解决综合(train from scratch)(更新中)
问题:视频分类网络像two stream i3d等都是直接在作者给的预训练权重上finetune自己的数据,然后在训练集上训练至过拟合。基本随便一个图像分类网络在任意一个数据集的训练集上都能收敛,但自己直接使用一个恒定的学习率来在自己的数据集train from scratch的话,只要3D CNN一大就从来就没有收敛过(自己用tf写的3D-ResNet, Non-local, s3d, p3d...原创 2020-04-05 19:43:36 · 1399 阅读 · 2 评论 -
AssembleNet笔记
https://arxiv.org/pdf/1905.13209.pdfconnection learning guided evolution复杂版的slowfast每个block的输入是多流的(多个subnetwork),包括不同的类型(比如说RGB,光流),不同的时间间隔;每个block多流中的各个module之间的表征连接(连接学习,connectivity learning, co...原创 2020-02-03 16:29:33 · 988 阅读 · 0 评论 -
i3d finetune(微调)
主要参考https://github.com/deepmind/kinetics-i3d/blob/master/evaluate_sample.py来恢复网络图。整个finetune流程跟我之前的博客https://blog.csdn.net/weixin_42388228/article/details/101209788中流程一样,总体来说就是先恢复网络图(包括添加自己的层),再把预训...原创 2020-01-22 13:16:54 · 1135 阅读 · 0 评论 -
SlowFastNet(SlowFast) finetune(微调)
import syssys.path.append('.../SlowFast-master/slowfast/config/')sys.path.append('.../SlowFast-master/slowfast/models/')sys.path.append('.../SlowFast-master/slowfast/utils/')import slowfast.models...原创 2020-01-22 13:17:30 · 2709 阅读 · 3 评论