百度顶会论文复现（3）：视频分类综述

已于 2022-03-13 22:50:49 修改
阅读量7.1k 收藏 95
点赞数 17
分类专栏： 百度顶会论文复现 文章标签： 百度 计算机视觉 人工智能
于 2020-08-02 18:42:29 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/cg129054036/article/details/107748313
版权

本节课主要是对视频分类的发展进行了介绍，包括任务与背景，分类方法，前沿进展等。课程地址为：https://aistudio.baidu.com/aistudio/course/introduce/1340?directly=1&shared=1。

文章目录

1. 任务与背景

这里首先给出了什么是视频分类的定义：将一段视频分类到预先制定类别集合中的某一个或多个。
在这里插入图片描述
然后给出了视频分类的发展历程：分为前深度学习时代和深度学习时代。
在这里插入图片描述

2. 视频分类方法

视频与图像不同，它由空间维度和时间维度组成。包括静态图像特征，运动特征，音频特征，外部特征等。由于其特征之多和复杂，视频处理可以看作是CV皇冠上的明珠。
目前主要的方法有：双流网络，静态图像特征聚合，3D卷积。

在这里插入图片描述

2.1 双流网络方法

借鉴人类大脑处理视觉信息的方式，研究人员设计了全新的网络结构，实现静态图像特征和运动信息统一，互补的提取和分类，主要论文有以下三篇。

NIPS-2014CVPR-2016ECCV-2016
在这里插入图片描述在这里插入图片描述在这里插入图片描述

2.2 静态图像特征聚合

方法主要是提取视频不同时刻多帧图像的特征，聚合生成视频级特征，进而分类。
在这里插入图片描述
主要代表论文有以下4篇：
首先是用CNN+LSTM提取静态图像特征并构建时序关系，然后进行分类。

CVPR-2015ICMR-2016
在这里插入图片描述在这里插入图片描述

然后也有学者对视频图像和光流进行特征提取，也有的学者使用Attention进行最后分类：
在这里插入图片描述
在这里插入图片描述

2.3 3D卷积方法

3D卷积是从水平、垂直和时序三个方向同时提取视频时空特征，但是计算量太大。
在这里插入图片描述
后来又学者借鉴残差结构，降低了3D卷积的计算复杂度，处理时先在图像空间卷积，再在时间维度卷积。
在这里插入图片描述
后来学者又进行了改进，提出了图像+视频联合预训练的方法。
在这里插入图片描述

3. 前沿进展

最新的视频处理方法主要有：高效视频网络，运动增强的RGB分类，快慢信息结合网络，光流表示学习，时序金字塔网络。

3.1 高效视频网络

这是本次课程论文复现里的一篇：ECO网络。
在这里插入图片描述
在这里插入图片描述

3.2 运动增强的RGB分类

这篇论文也是开创性的，避免了光流的计算。
在这里插入图片描述

在这里插入图片描述

3.3 快慢信息结合网络

这篇论文设计了两条通道，快速与慢速通道，降低了计算量。
在这里插入图片描述

3.4 光流表示学习

这篇论文主要工作是把光流信息用网络学习了出来。
在这里插入图片描述

3.5 时序金字塔网络

这也是本次课程需要复现的论文之一，
在这里插入图片描述

最后是未来展望：
在这里插入图片描述

视频分类综述（一）
自由小兵儿
07-04 1807
视频分类是一个难点，本文将介绍从论文的背景问题、核心思想、具体方案三个角度，阅读下面四篇文章。下面四篇文章主要考虑借助强化学习的方法，解决视频分类。
Diffusion Models专栏文章汇总：入门与实战
热门推荐
沉迷单车的追风少年
02-21 3万+
《DiffusionModels与深度学习》专栏文章导航
【技术综述】视频分类/行为识别研究综述，从数据集到方法
hacker_long的专栏
08-23 2457
视频分类/行为识别是计算机视觉领域中非常有挑战性的课题，因为其不仅仅要分析目标体的空间信息，还要分析时间维度上的信息，如何更好的提取出空间-时间特征是问题的关键。本文总结...
视频分类（Classification）和摘要（Captioning）总结
年轻即出发，
07-14 5788
例如，在视频分析中，3D CNN可以检测动作、行为和事件，为视频分类、视频理解和动作识别等任务提供强大的能力。例如，在动作识别任务中，光流信息可以帮助区分不同的动作类别，而RGB信息可以提供更多的上下文信息。然而，与2D CNN相比，3D CNN具有更高的计算复杂性和更大的模型参数量，因此可能需要更多的计算资源和数据来训练。基本思路使用2dcnn或者3dcnn提取rgb视频或者光流视频每一帧的特征，将得到的每一帧的特征输入LSTM或者Transformer这样的语言模型进行学习，从而输出任意形态的句子。
嵌入式视频处理考虑(二)
weixin_30808253的博客
10-12 370
引言： 作为消费者，我们对于各种形式的视频系统都已经非常熟悉了。但是从嵌入式开发人员的角度来看，视频就好像是一张纷繁复杂的网络，里面充满了各种不同的分辨率、格式、标准与显示等。 视频算法分类 视频处理算法基本上可以分为两个大类：空域算法和时域算法。要想了解在每种情况下如何有效的处理数据，就必须熟悉各种不同的视频处理方法。许多算法将空域处理技术和时域处理技术结合起来(称...
CVPR2020论文解析：视频分类Video Classification
吴建明wujianming_110117
03-21 3592
CVPR2020论文解析：视频分类Video Classification Rethinking Zero-shot Video Classification: End-to-end Training for Realistic Applications 论文链接：https://arxiv.org/pdf/2003.01455.pdf 摘要 深度学习（deep learning，DL）是在大型...
五视频分类方法：我的博客文章随附的代码概述了Keras和TensorFlow中的五种视频分类方法
02-03
五个视频分类方法 五个视频分类方法： 使用ConvNet一次分类一帧 使用ConvNet在单独的网络中从每个帧中提取特征，并将序列传递给RNN 使用时间扭曲的ConvNet，将功能传递给RNN，就像＃2一样，但都在一个网络中（这是代码中的lrcn网络）。 使用ConvNet从每个帧中提取特征并将序列传递给MLP 使用3D卷积网络（有两个版本的3d转换可供选择） 有关完整的详细信息，请参见随附的博客文章： : 要求 此代码要求您已安装Keras 2和TensorFlow 1或更高版本。 请参阅requirements.txt文件。 为了确保您最新，请运行： pip install -r requirements.txt 您还必须安装ffmpeg才能提取视频文件。 如果ffmpeg不在您的系统路径中（即which ffmpeg不返回其路径，或者您使用的操作系统不是* nix），则需要在data/2_extract_files.py路径更新为ffmpeg 。 。 获取数据 首先，将数据集从UCF下载到data文件夹中： cd data && wget http://crc
经典论文复现 | LSGAN：最小二乘生成对抗网络
Paper weekly
10-10 2920
过去几年发表于各大 AI 顶会论文提出的 400 多种算法中，公开算法代码的仅占 6%，其中三分之一的论文作者分享了测试数据，约 54% 的分享包含“伪代码”。这是今年 ...
必读论文 | 卷积神经网络百篇经典论文推荐
weixin_43378545的博客
12-09 975
卷积神经网络百篇经典论文 研读卷积神经网络的经典论文，对于学习和研究卷积神经网络必不可缺。 根据相关算法，AMiner 从人工智能领域国际顶会/期刊中提取出“卷积神经网络”相关关键词，筛选并推荐了 100 篇经典必读论文。由于网上资料太乱太杂，整理好放在网盘内，需要的可以点击领取；
三维重建（十）——论文部分的每章要点
河海大学研究生在读的学习笔记
01-17 136
三维重建（十）——论文部分的每章要点
视频分类的论文
08-03
上传的两篇论文是关于视频事件分类的论文，感兴趣可以研究一下。
AAAI 2021上与【视频理解】相关论文（五篇）
01-19
近期，所有paper list 放出，本文发现基于视频理解（Video Understanding）相关的接受paper很多，视频理解，比如视频分割、视频分类以及视频描述生成等等一些列前沿的方法和应用受到了很多人的关注。
基于卷积神经网络的视频分类检索
05-24
随着深度学习在图像识别领域的巨大成功，深度学习被应用到越来越多的领 域，包括视频处理领域，文本处理领域以及音频处理领域。卷积神经网络是深度学习中非常重要的一类网络模型，它和传统神经网络的区别在于引入了卷积层、池化层。卷积神经网络在图像识别领域取得成功之后，研究人员开始逐步将其应用于视频分类任务中，并取得了分类效果上的提高，这充分说明了卷积神经网络在视频分类任务中起到的重要作用。 本文的研究内容在于实现一个通用且有效的分类检索模型。在图像研究领域 有研究人员提出在卷积神经网络中引入哈希层来得到图像对应的O一1向量哈希 码，使用这个哈希码来进行相似图片的查找，取得了不错的效果。本文的一个创 新点在于将这种思路引入到了视频处理领域，验证了哈希层在这个应用场景中的有效性，继而提出通用且效果更好的分类检索模型；另外一个创新点在于采用了更为高效的检索算法来提高模型的可用性。
视频分类论文
xiaxuesong666的博客
02-19 2762
Video Classification image-based methods Zha S, Luisier F, Andrews W, et al. Exploiting Image-trained CNN Architectures for Unconstrained Video Classification[J]. Computer Science, 2015. Sánchez ...
视频分类概述
yuguolong_001的博客
09-14 285
视频分类是指对连续的多张图片的连续行为进行类别的划分。假设我们有一张图片，图片中有一只猫，我们就可以训练一个简单的图片分类器去识别图片中的动物是不是猫，现在把一张图片换成连续100张图片（大约3s时长），进行识别，这就是视频分类。
基于pytorch实现的视频分类——C3D模型论文复现
xu_white的博客
08-19 2421
视频分类任务
I3D视频分类论文梗概及代码解读Quo Vadis, Action Recognition? A New Model and the Kinetics Dataset
小小小麦昆的博客
08-19 1万+
论文https://arxiv.org/pdf/1705.07750.pdf，from DeepMind ，CVPR2017 代码https://github.com/LossNAN/I3D-Tensorflow 2017年视频分类最好的网络，同时提供了VGG的预训练模型，网络端到端，简单易懂，便于部署及工程化。只是跑一下基本有个Tensorflow，单显卡就能训练和测试，效果还好，一绝。本文...
实战！手把手带你复现1篇视频分类顶会论文
百度大脑
08-09 973
点击左上方蓝字关注我们这两年，短视频行业兴起，各个互联网巨头领跑，积极布局，将我们送入一个全民视频的时代。随着这场“战事”进入下半场，视频分类如何才能做到更“人工智能”成为了一大问题，视...
ECCV 2020 论文大盘点-视频目标检测篇
我爱计算机视觉
09-29 1327
本文盘点ECCV 2020 中所有视频目标价检测（Video Object Detection）相关的论文，总计 4 篇，其中 2 篇论文代码将开源。对视频中的目标进行检测，当然可以转化...
深度学习顶会论文复现
最新发布
03-10
### 如何复现深度学习顶会论文 #### 选择合适的论文 为了成功复现出深度学习顶会论文中的成果，挑选具有清晰描述和技术细节的论文至关重要。优先考虑那些提供了开源代码或详尽实现说明的文章[^2]。 #### 获取必要的资源和支持环境 许多顶尖会议论文背后都有大量的计算资源支持，这使得一些实验难以被完全复制。然而，随着云计算服务的发展，如Google Colab、AWS等平台可以提供足够的GPU/TPU来满足大多数需求。此外，部分研究机构也会公开其使用的框架版本和依赖项列表，有助于构建一致性的开发环境[^3]。 #### 阅读理解与笔记整理 深入研读选定的论文全文，特别是方法论部分，并做好详细的笔记记录下每一个步骤的具体操作方式及其背后的原理。对于不熟悉的术语或者概念可以通过查阅其他文献资料加深了解。同时注意作者提到的数据集获取途径及预处理手段[^1]。 #### 实验重现过程 基于上述准备工作，在本地环境中搭建相同的软件栈之后就可以着手尝试运行官方给出的baseline model了。如果遇到性能差异较大的情况，则需仔细对比配置参数设置是否一致；另外还需关注随机种子初始化等因素的影响以减少不确定性带来的偏差。 #### 结果验证分析 当能够稳定获得接近原作报告的结果后，进一步开展超参调优工作试图超越已有水平。在此过程中要保持严谨的态度对待每一次改动所带来的变化趋势观察并及时调整方向直至达到满意的效果为止。 ```python import torch from torchvision import datasets, transforms transform = transforms.Compose([transforms.ToTensor()]) train_dataset = datasets.MNIST(root='./data', train=True, download=True, transform=transform) def load_data(batch_size): """加载MNIST数据集""" data_loader = torch.utils.data.DataLoader(dataset=train_dataset, batch_size=batch_size, shuffle=True) return data_loader ``` #### 文献回顾与其他案例借鉴 除了专注于手头的任务外，定期浏览最新的研究成果同样重要。因为新的发现往往能带来启发式的思路改进现有方案或是解决当前面临的难题。加入特定主题的兴趣小组参与讨论交流也是不错的选择之一。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值