百度飞浆定会论文复现之视频分类:ECO: Efficient Convolutional Network for Online Video Understanding

本文介绍了基于百度飞浆的视频分类复现,聚焦于ECO:一种高效卷积网络,用于在线视频理解。ECO网络结合3D卷积,学习帧间关系,适用于长范围时间结构建模,可在小型设备上实时运行。ECO分为Lite和Full两种模型,分别在UFC101和HMDB51数据集上表现出色。
摘要由CSDN通过智能技术生成

百度飞浆定会论文复现之视频分类:ECO: Efficient Convolutional Network for Online Video Understanding

论文创新点:
本文考虑了视频分类中相邻帧之间的信息冗余,也考虑到较远帧之间的信息的相关性的情况下。本文采取与以前的方法不同,主要有三个方面:
(1) 与TSN类似,本文从整个视频中抽取固定数量的帧来覆盖长范围时间结构(long-range temporal structure)建模,以便理解视频。这样,采样帧跨越整个视频,而与视频的长度无关。
(2) 与TSN不同,本文使用3D网络来学习帧之间的关系,并在整个视频中追踪它们。网络通过端到端的训练来学习这种关系。
(3) 该网络直接提供视频级别的分数,而无需进行事后特征聚合。因此,它可以在线运行,甚至可以在小型计算设备上实时运行。
模型描述:
ECO网络具体结构:

在这里插入图片描述

输入的视频被分成N个RGB 的 segment,分别为子部分Si,i = 1,…,N,它们具有相同的大小,并且在每个子部分中随机采样一帧。这些帧中的每一帧都由单个2D卷积网络(权重

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值