百度顶会论文复现（3）：视频分类综述

已于 2022-03-13 22:50:49 修改
阅读量5.7k 收藏 83
点赞数 13
分类专栏： 百度顶会论文复现 文章标签： 百度 计算机视觉 人工智能
于 2020-08-02 18:42:29 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/cg129054036/article/details/107748313
版权

本节课主要是对视频分类的发展进行了介绍，包括任务与背景，分类方法，前沿进展等。课程地址为：https://aistudio.baidu.com/aistudio/course/introduce/1340?directly=1&shared=1。

文章目录

1. 任务与背景

这里首先给出了什么是视频分类的定义：将一段视频分类到预先制定类别集合中的某一个或多个。
在这里插入图片描述
然后给出了视频分类的发展历程：分为前深度学习时代和深度学习时代。
在这里插入图片描述

2. 视频分类方法

视频与图像不同，它由空间维度和时间维度组成。包括静态图像特征，运动特征，音频特征，外部特征等。由于其特征之多和复杂，视频处理可以看作是CV皇冠上的明珠。
目前主要的方法有：双流网络，静态图像特征聚合，3D卷积。

在这里插入图片描述

2.1 双流网络方法

借鉴人类大脑处理视觉信息的方式，研究人员设计了全新的网络结构，实现静态图像特征和运动信息统一，互补的提取和分类，主要论文有以下三篇。

NIPS-2014CVPR-2016ECCV-2016
在这里插入图片描述在这里插入图片描述在这里插入图片描述

2.2 静态图像特征聚合

方法主要是提取视频不同时刻多帧图像的特征，聚合生成视频级特征，进而分类。
在这里插入图片描述
主要代表论文有以下4篇：
首先是用CNN+LSTM提取静态图像特征并构建时序关系，然后进行分类。

CVPR-2015ICMR-2016
在这里插入图片描述在这里插入图片描述

然后也有学者对视频图像和光流进行特征提取，也有的学者使用Attention进行最后分类：
在这里插入图片描述
在这里插入图片描述

2.3 3D卷积方法

3D卷积是从水平、垂直和时序三个方向同时提取视频时空特征，但是计算量太大。
在这里插入图片描述
后来又学者借鉴残差结构，降低了3D卷积的计算复杂度，处理时先在图像空间卷积，再在时间维度卷积。
在这里插入图片描述
后来学者又进行了改进，提出了图像+视频联合预训练的方法。
在这里插入图片描述

3. 前沿进展

最新的视频处理方法主要有：高效视频网络，运动增强的RGB分类，快慢信息结合网络，光流表示学习，时序金字塔网络。

3.1 高效视频网络

这是本次课程论文复现里的一篇：ECO网络。
在这里插入图片描述
在这里插入图片描述

3.2 运动增强的RGB分类

这篇论文也是开创性的，避免了光流的计算。
在这里插入图片描述

在这里插入图片描述

3.3 快慢信息结合网络

这篇论文设计了两条通道，快速与慢速通道，降低了计算量。
在这里插入图片描述

3.4 光流表示学习

这篇论文主要工作是把光流信息用网络学习了出来。
在这里插入图片描述

3.5 时序金字塔网络

这也是本次课程需要复现的论文之一，
在这里插入图片描述

最后是未来展望：
在这里插入图片描述

自动驾驶小学生
关注
  • 13
    点赞
  • 踩
  • 83
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
视频分类综述（一）
自由小兵儿
07-04 1562
视频分类是一个难点，本文将介绍从论文的背景问题、核心思想、具体方案三个角度，阅读下面四篇文章。下面四篇文章主要考虑借助强化学习的方法，解决视频分类。
CVPR2020论文解析：视频分类Video Classification
吴建明wujianming_110117
03-21 3415
CVPR2020论文解析：视频分类Video Classification Rethinking Zero-shot Video Classification: End-to-end Training for Realistic Applications 论文链接：https://arxiv.org/pdf/2003.01455.pdf 摘要 深度学习（deep learning，DL）是在大型...
【技术综述】视频分类/行为识别研究综述，从数据集到方法
hacker_long的专栏
08-23 2272
视频分类/行为识别是计算机视觉领域中非常有挑战性的课题，因为其不仅仅要分析目标体的空间信息，还要分析时间维度上的信息，如何更好的提取出空间-时间特征是问题的关键。本文总结...
视频分类（Classification）和摘要（Captioning）总结
年轻即出发，
07-14 3073
例如，在视频分析中，3D CNN可以检测动作、行为和事件，为视频分类、视频理解和动作识别等任务提供强大的能力。例如，在动作识别任务中，光流信息可以帮助区分不同的动作类别，而RGB信息可以提供更多的上下文信息。然而，与2D CNN相比，3D CNN具有更高的计算复杂性和更大的模型参数量，因此可能需要更多的计算资源和数据来训练。基本思路使用2dcnn或者3dcnn提取rgb视频或者光流视频每一帧的特征，将得到的每一帧的特征输入LSTM或者Transformer这样的语言模型进行学习，从而输出任意形态的句子。
嵌入式视频处理考虑(二)
weixin_30808253的博客
10-12 318
引言： 作为消费者，我们对于各种形式的视频系统都已经非常熟悉了。但是从嵌入式开发人员的角度来看，视频就好像是一张纷繁复杂的网络，里面充满了各种不同的分辨率、格式、标准与显示等。 视频算法分类 视频处理算法基本上可以分为两个大类：空域算法和时域算法。要想了解在每种情况下如何有效的处理数据，就必须熟悉各种不同的视频处理方法。许多算法将空域处理技术和时域处理技术结合起来(称...
五视频分类方法：我的博客文章随附的代码概述了Keras和TensorFlow中的五种视频分类方法
02-03
五个视频分类方法 五个视频分类方法： 使用ConvNet一次分类一帧 使用ConvNet在单独的网络中从每个帧中提取特征，并将序列传递给RNN 使用时间扭曲的ConvNet，将功能传递给RNN，就像＃2一样，但都在一个网络中（这是代码中的lrcn网络）。 使用ConvNet从每个帧中提取特征并将序列传递给MLP 使用3D卷积网络（有两个版本的3d转换可供选择） 有关完整的详细信息，请参见随附的博客文章： : 要求 此代码要求您已安装Keras 2和TensorFlow 1或更高版本。 请参阅requirements.txt文件。 为了确保您最新，请运行： pip install -r requirements.txt 您还必须安装ffmpeg才能提取视频文件。 如果ffmpeg不在您的系统路径中（即which ffmpeg不返回其路径，或者您使用的操作系统不是* nix），则需要在data/2_extract_files.py路径更新为ffmpeg 。 。 获取数据 首先，将数据集从UCF下载到data文件夹中： cd data && wget http://crc
视频分类论文
xiaxuesong666的博客
02-19 2692
Video Classification image-based methods Zha S, Luisier F, Andrews W, et al. Exploiting Image-trained CNN Architectures for Unconstrained Video Classification[J]. Computer Science, 2015. Sánchez ...
nlp_paper_study:研读顶会论文，复现论文相关代码
04-28
【关于 NLP】 那些你不知道的事作者：杨夕项目地址：个人介绍：大佬们好，我叫杨夕，该项目主要是本人在研读顶会论文和复现经典论文过程中，所见、所思、所想、所闻，可能存在一些理解错误，希望大佬们多多指正。...
中国软件开源创新大赛：开源任务挑战赛（顶会论文复现赛）.zip
最新发布
04-23
中国软件开源创新大赛：开源任务挑战赛（顶会论文复现赛）
基于yolov7改进将顶会论文模块复现加入模型源码+权重文件+数据集下载链接.zip
10-18
基于yolov7改进将顶会论文模块复现加入模型源码+权重文件+数据集下载链接.zip 已获导师指导并通过的97分的高分课程设计项目，可作为课程设计和期末大作业，下载即用无需修改，项目完整确保可以运行。 基于yolov7...
视频分类的论文
08-03
上传的两篇论文是关于视频事件分类的论文，感兴趣可以研究一下。
AAAI 2021上与【视频理解】相关论文（五篇）
01-19
近期，所有paper list 放出，本文发现基于视频理解（Video Understanding）相关的接受paper很多，视频理解，比如视频分割、视频分类以及视频描述生成等等一些列前沿的方法和应用受到了很多人的关注。
基于卷积神经网络的视频分类检索
05-24
随着深度学习在图像识别领域的巨大成功，深度学习被应用到越来越多的领 域，包括视频处理领域，文本处理领域以及音频处理领域。卷积神经网络是深度学习中非常重要的一类网络模型，它和传统神经网络的区别在于引入了卷积层、池化层。卷积神经网络在图像识别领域取得成功之后，研究人员开始逐步将其应用于视频分类任务中，并取得了分类效果上的提高，这充分说明了卷积神经网络在视频分类任务中起到的重要作用。 本文的研究内容在于实现一个通用且有效的分类检索模型。在图像研究领域 有研究人员提出在卷积神经网络中引入哈希层来得到图像对应的O一1向量哈希 码，使用这个哈希码来进行相似图片的查找，取得了不错的效果。本文的一个创 新点在于将这种思路引入到了视频处理领域，验证了哈希层在这个应用场景中的有效性，继而提出通用且效果更好的分类检索模型；另外一个创新点在于采用了更为高效的检索算法来提高模型的可用性。
C3D-lstm_lstmpytorch_c3d论文复现_C3D-lstm_
09-29
标题 "C3D-lstm_lstmpytorch_c3d论文复现_C3D-lstm" 指涉的是一项在PyTorch框架下对C3D-LSTM模型的实现，这是深度学习领域中用于视频理解的一个重要模型。C3D（Convolutional 3D）是基于3D卷积神经网络的预训练模型...
论文复现：Pytorch实现VDSR
03-15
3.模型实现：pytorch搭建vdsr网络。 4.训练：参数与论文中完全一致，与github上的参考代码不同。 5.测试：PSNR评估和图像可视化，与Bicubic双三次插值对比。 资源对应文章：...
视频分类概述
yuguolong_001的博客
09-14 132
视频分类是指对连续的多张图片的连续行为进行类别的划分。假设我们有一张图片，图片中有一只猫，我们就可以训练一个简单的图片分类器去识别图片中的动物是不是猫，现在把一张图片换成连续100张图片（大约3s时长），进行识别，这就是视频分类。
基于pytorch实现的视频分类——C3D模型论文复现
xu_white的博客
08-19 2152
视频分类任务
I3D视频分类论文梗概及代码解读Quo Vadis, Action Recognition? A New Model and the Kinetics Dataset
热门推荐
小小小麦昆的博客
08-19 1万+
论文https://arxiv.org/pdf/1705.07750.pdf，from DeepMind ，CVPR2017 代码https://github.com/LossNAN/I3D-Tensorflow 2017年视频分类最好的网络，同时提供了VGG的预训练模型，网络端到端，简单易懂，便于部署及工程化。只是跑一下基本有个Tensorflow，单显卡就能训练和测试，效果还好，一绝。本文...
实战！手把手带你复现1篇视频分类顶会论文
百度大脑
08-09 917
点击左上方蓝字关注我们这两年，短视频行业兴起，各个互联网巨头领跑，积极布局，将我们送入一个全民视频的时代。随着这场“战事”进入下半场，视频分类如何才能做到更“人工智能”成为了一大问题，视...
bytetrack代码复现 ModuleNotFoundError: No module named 'yolox'
08-15
你遇到的错误是 ModuleNotFoundError: No module named 'yolox'，它表示你的代码无法找到名为 'yolox' 的模块。这通常是因为你没有安装 'yolox' 模块或者没有将其正确添加到 Python 的搜索路径中。 要解决这个问题，首先需要确保你已经正确地安装了 'yolox' 模块。你可以使用以下命令来安装 'yolox'： ``` pip install yolox ``` 如果你已经安装了 'yolox'，但仍然遇到该错误，那么可能是因为 'yolox' 模块不在 Python 的搜索路径中。在 Python 中，当你导入一个模块时，Python 会按照一定的搜索路径来查找该模块。你可以通过以下方法将 'yolox' 模块添加到搜索路径中： ```python import sys sys.path.append('/path/to/yolox') ``` 将 `/path/to/yolox` 替换为 'yolox' 模块所在的实际路径。 希望这能帮助你解决问题！如果还有其他疑问，请随时提问。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值