论文介绍 -- ECO: Efficient Convolutional Network for Online Video Understanding

最新推荐文章于 2020-08-06 13:17:19 发布
最新推荐文章于 2020-08-06 13:17:19 发布
阅读量2.1k 收藏 6
点赞数 4
分类专栏： 深度学习基础理论与技术实践 文章标签： AI DeepLearning Video Understanding efficient eccv
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/chr1991/article/details/103783780
版权

ECO: Efficient Convlutional Network for Online Video Understanding这篇论文发表于2018年ECCV上。作者Mohammadreza Zolfaghari等人来自弗莱堡大学。这篇论文主要内容如下：

当前最先进的视频理解模型主要存在两个问题：1. 模型在做任务推理时只关注视频局部信息，忽略了横跨一定时间间隔的动作联系；2. 已有模型只在视频局部处理进行效率改进，但是视频整体的处理效率较低，无法用于快速的视频检索或者在线长期动作分类。这篇论文针对这两个问题，提出了高效的卷积网络用于视频分类和实时视频分类算法。模型结构本身整合了视频的长期信息，并利用了相邻帧存在大量冗余信息这一特点。它最快能在一秒时间内进行230段视频的动作分类和描述。这种方法在所有的数据集上取得了和当前最好模型相当的效果，同时在速度上快了10到80倍。

视频动作分类领域主要有三个数据集：Kinetics、ActivityNet和SomethingSomething。

模型宏观架构

由于相邻帧存在大量的信息冗余，因此该方法利用预训练好的2D卷积网络每隔一定时间只处理一帧视频。为了让卷积网络自身就能学习到长期的语义信息，作者采用3D卷积层来对按一定时间间隔提取出来的帧的集合进行特征提取。在具体训练模型时，视频被分成N小段S_i, i=1,...,N，每小段时间长度相等。每次用某段视频进行训练时，在每个时间段内随机采样一帧视频，输入卷积网络。就长时间训练而言，视频中的每一帧都得到了充分的利用。这样训练数据更加多样

最低0.47元/天 解锁文章
信道者
关注
  • 4
    点赞
  • 踩
  • 6
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
ECO: Efficient convolutional Network For online video understanding（在线视频理解，实时，动作分类，视频描述）
xiayuanma的专栏
05-21 4746
问题： 1. 大部分推理均是局部进行的，丧失了跨越数秒的动作内的重要关系 2. 尽管有快速桢处理的局部方法，整个视频的处理效率不高，有损在线长视频分类检索的效率 本文： 引入一网络结构（考虑进了长视频和短视频，同时能使快速实现每个视频（per-video）的处理） 该结构基于融合网络中的长程内容，而不是post-hoc fusion。 采用采样策略（相邻帧大多是冗余的），产生能达到...
【paddlepaddle 论文复现营阅读笔记】ECO: Efficient Convolutional Network for Online Video Understanding
kylinhyl510的博客
08-06 317
1
【视频行为识别7】ECO：Efficient Convolutional Network for Online Video Understanding(ECCV2018)
chen1234520nnn的博客
03-14 927
提出问题： 1. 大部分推理均是局部(如取2s一段的子片段)进行的，丧失了跨越数秒的动作内的重要关系。 2. 尽管有快速桢处理的局部方法，整个视频的处理效率不高，有损在线长视频分类检索的效率。 本文：引入一种网络结构（考虑进了长视频和短视频，同时能使快速实现每个视频（per-video）的处理），该结构基于融合网络中的长时间内容，而不是像之前论文中先将视频分n个片段，然后网络分别处理每个片段...
ECO: Efficient Convolutional Network for Online Video Understanding
lemontree的博客
09-17 2283
目前视频理解最新技术存在两个问题：（1）推理的最大问题在于它只是在视频中局部进行，因此对于几秒的动作，它丢失了动作行为之间的关系 （2）虽然存在快速处理的方法，但是整个视频的处理效率不高并且妨碍了长期活动的快速视频检索或在线分类。                        网络架构如图1所示。输入的视频被分成N个子部分Si，i = 1，...，N，它们具有相同的大小，并且在每个子部分中随机...
《ECO：Efficient Convolutional Network for Online Video Understanding》文献阅读
qq_18644873的博客
01-02 1759
https://zhuanlan.zhihu.com/p/36795554 文章目录1、Introduction2、主要工作3、结构4、在线视频理解5、实验6、总结 caffe源码 pytorch源码 1、Introduction 主要提出了两点： 使用单帧的图像，在很多情况下已经可以获得一个不错的初始分类结果了，而相邻帧间的很多信息都是冗余的。因此，ECO 中在一个时序邻域内仅使用单帧图像...
ECO在线视频理解PyTorch代码实现(Efficient Convolutional Network for Online Video Understanding)
Can的博客
08-09 5880
近期，arXiv上出现了一篇用于在线视频理解的高效卷积网络ECO。论文题目：《ECO: Efficient Convolutional Network for Online Video Understanding》。论文作者来自弗莱堡大学。 我自己实现了一个ECO的PyTorch版本，项目地址： https://github.com/zhang-can/ECO-pytorch 该repo进度...
C-COT以及ECO论文和代码.rar
05-01
本文将深入探讨两种重要的目标跟踪算法：连续卷积目标跟踪器（Continuous Convolutional Tracker, C-COT）和高效目标跟踪器（Efficient Convolution Operators, ECO），这些都是由Martin Danelljan及其团队在2016年...
百度地图毕业设计源码-Visualizing-and-Understanding-Convolutional-Networks:paddlep
06-06
Visualizing-and-Understanding-Convolutional-Networks paddlepaddle框架 论文复现（CNN特征可视化）+VGG16猫脸分类（动态图） 简介 参考论文 CNN作为一个著名的深度学习领域的“黑盒”模型，已经在计算机视觉的...
R-CNN matlab 代码: Regions with Convolutional Neural Network Features
03-17
**R-CNN（Regions with Convolutional Neural Network Features）**是一种深度学习算法，主要用于目标检测。这个算法在2013年由Ross Girshick、Jeff Donahue、Trevor Darrell和Jitendra Malik等人提出，是图像识别...
2017年CVPR ECO论文
11-01
2017年 CVPR 技术大会的 ECO目标跟踪论文 PDF英文版，看不懂的请勿下载
Learn-Convolutional-Neural-Network-for-Face-Anti-Spoofing:“学习用于面部反欺骗的卷积神经网络”论文的实现
05-01
“”论文的实现 结果 CASIA内测 原始数据集：或（密码：h5un） 规模 1.0 1.4 1.8 2.2 2.6 吝啬的 开发EER 0.1094 0.0408 0.0346 0.0339 0.0670 0.0571 测试HTER 0.1033 0.0492 0.0568 0.0675 0....
转自新鲜出炉的知乎大神Hao Zhang的“视频理解近期研究进展”
mini猿要成长QAQ
05-29 9197
因为暑期实习需要做一些视频理解相关的工作，这一领域还不太熟悉，今天中午在知乎看到知乎大神Hao Zhang更新了一篇文章。可以说对视频理解领域的介绍与阐述非常详细了，所以转过来方便长久学习。知乎大神Hao Zhang的知乎主页：https://www.zhihu.com/people/hao-zhang-0214/activities 全是干货！！！！膜！！！下面转自大神的文章：相比图像，视频多了...
ECO tracker的c++实现（可以跑linux／TX1／TX2／Mac／Raspberry Pi）
shuizongbei的专栏
08-10 2591
ECO 视觉跟踪官方只有matlab版本，最近我改写了个C++版本，并进行了加速，目前速度超越了matlab原版。 Code地址：https://github.com/rockkingjy/OpenTracker  
飞桨论文复现之ECO: Efficient Convolutional Network for Online Video Understanding（论文阅读）
shajiayu1的博客
08-06 584
目录一、复现使用框架和平台二、百度飞桨框架介绍三、ECO的前身TSN的介绍四、ECO相对TSN的改进五、ECO的飞桨框架复现 一、复现使用框架和平台 本文的论文复现使用百度的飞桨框架，开发平台是AI Studio。参加了百度的论文复现营：https://aistudio.baidu.com/aistudio/education/group/info/1340 论文复现营的介绍：为了帮助大家更好的进行论文发表等科研工作，深入实践深度学习，百度特别推出了全球顶会深度学习论文复现营。由百度资深算法工程师与中科院
浅谈动作识别TSN, TRN, ECO
SIGAI_CSDN的博客
09-24 8376
其它机器学习、深度学习算法的全面系统讲解可以阅读《机器学习-原理、算法与应用》，清华大学出版社，雷明著，由SIGAI公众号作者倾力打造。 书的购买链接 书的勘误，优化，源代码资源 什么是动作识别？给定一个视频，通过机器来识别出视频里的主要动作类型。 动作识别表面是简单的分类问题，但从本质上来说，是视频理解问题，很多因素都会影响其中，比如不同类型视频中空间时间信息权重不同？视频长短不一致？...
ECO论文翻译：Efficient Convolution Operators for Tracking论文翻译
dengheCSDN的博客
08-30 5537
摘要   近些年来，在目标追踪领域，基于判别式相关滤波（DCF）的方法明显体现了最高水平。不过，曾经追求提高包括提取特征的速度和实时性等追踪性能（的研究）,已经逐渐黯然失色。在将来，越来越复杂的、并且包含大量训练参数的模型,已经引入了重度过拟合的风险（意思是，越来越复杂的模型，更容易引起很严重的过拟合）。本次工作中，我们处理复杂计算和过拟合问题背后的关键问题，并且，同时改善速度和精度。
CVPR 2017 目标跟踪相关论文
maweifei的博客
06-29 4110
CVPR 2017 目标跟踪相关论文 YaqiLYU · 19 天前 CVPR 2017 MAIN CONFERENCE 的paper list已经出来了: CVPR2017，workshop暂时还不清楚，以后有了会补上。 以下是main conference中单目标跟踪相关的论文，参考@Qiang Wang 的foolwood/benchmark_results （其实就是复制
tensorflow中张量的提取值和赋值操作
热门推荐
信道者
06-24 2万+
tf.gather tf.gather_nd tf.scatter_nd tf.scatter_nd_update 的说明
eca-net: efficient channel attention for deep convolutional neural networks
最新发布
09-09
### 回答1： ECA-Net是一种用于深度卷积神经网络的高效通道注意力机制，可以提高模型的性能和效率。它通过对每个通道的特征图进行加权，使得网络可以更好地学习到重要的特征。ECA-Net的设计简单，易于实现，并且可以与各种深度卷积神经网络结构相结合使用。 ### 回答2： ECA-Net是一种用于深度卷积神经网络的高效通道注意力机制。 ECA-Net通过提出一种名为"Efficient Channel Attention"（ECA）的注意力机制，来增强深度卷积神经网络的性能。通道注意力是一种用于自适应调整不同通道的特征响应权重的机制，有助于网络更好地理解和利用输入数据的特征表示。 相比于以往的注意力机制，ECA-Net采用了一种高效且可扩展的方式来计算通道注意力。它不需要生成任何中间的注意力映射，而是通过利用自适应全局平均池化运算直接计算出通道注意力权重。这种方法极大地降低了计算和存储开销，使得ECA-Net在实际应用中更具实用性。 在进行通道注意力计算时，ECA-Net引入了两个重要的参数：G和K。其中，G表示每个通道注意力的计算要考虑的特征图的大小；K是用于精细控制计算量和模型性能之间平衡的超参数。 ECA-Net在各种视觉任务中的实验结果表明，在相同的模型结构和计算资源下，它能够显著提升网络的性能。ECA-Net对不同层级的特征表示都有显著的改进，能够更好地捕捉不同特征之间的关联和重要性。 总之，ECA-Net提供了一种高效并且可扩展的通道注意力机制，可以有效提升深度卷积神经网络的性能。它在计算和存储开销上的优势使得它成为一个非常有价值的工具，可在各种计算资源受限的应用中广泛应用。 ### 回答3： "eca-net: efficient channel attention for deep convolutional neural networks" 是一种用于深度卷积神经网络的高效通道注意力模块。这一模块旨在提高网络对不同通道（特征）之间的关联性的理解能力，以提升网络性能。 该方法通过引入了一个新的注意力机制来实现高效的通道注意力。传统的通道注意力机制通常是基于全局池化操作来计算通道之间的关联性，这种方法需要较高的计算成本。而ECA-Net则通过引入一个参数化的卷积核来计算通道之间的关联性，可以显著减少计算量。 具体来说，ECA-Net使用了一维自适应卷积（adaptive convolution）来计算通道注意力。自适应卷积核根据通道特征的统计信息来调整自身的权重，从而自适应地计算每个通道的注意力权重。这样就可以根据每个通道的信息贡献度来调整其权重，提高网络的泛化能力和性能。 ECA-Net在各种图像分类任务中进行了实验证明了其有效性。实验结果显示，ECA-Net在相同计算预算下，相比其他通道注意力方法，可以获得更高的分类精度。同时，ECA-Net还具有较少的额外计算成本和模型大小，使得其在实际应用中更加高效。 总结而言，"eca-net: efficient channel attention for deep convolutional neural networks" 提出了一种高效通道注意力方法，通过引入自适应卷积核来计算通道注意力，从而提高了深度卷积神经网络的性能。这一方法在实验中取得了良好的效果，并且具有较少的计算成本和模型大小。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值