论文阅读：Learnable pooling with Context Gating for video classification

最新推荐文章于 2022-08-08 16:51:26 发布
最新推荐文章于 2022-08-08 16:51:26 发布
阅读量1.5k 收藏
点赞数
分类专栏： Papers 文章标签： 视频
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/cheese_pop/article/details/78187018
版权

这篇论文是2016年Google Cloud & YouTube-8M Video Understanding Challenge比赛中冠军得主的论文。
文章的两点贡献：

  1. 融合了VLAD, bag-of-visual-words和Fisher Vector三种编码方式，并且每个都做了一定程度的调整。其中，VLAD改为NetRVLAD, bag-of-visual-words改为Soft-DBoW, Fisher Vector改为NetFV。
  2. 提出了一个新的非线性的单元 Context Gating (CG)。CG可以捕获特征之间或者标签之间的依赖性。具体的还要再看一下再补充。

论文框架：
这里写图片描述

实验结果：
这里写图片描述

代码： https://github.com/antoine77340/Youtube-8M-WILLOW
工具：https://github.com/antoine77340/LOUPE.

小胖蹄儿
关注
专栏目录
顶会速递 | ICLR 2020录用论文全集
语言智能技术笔记簿
03-10 1万+
由深度学习三巨头Yoshua Bengio和Yann LeCun牵头创办的人工智能顶会ICLR今年最终收到2594篇投稿，共687篇论文被接收，其中48篇orals，108篇spotlights，531篇posters，录取率为26.5%，相比去年的31.4%略有下降。华人学者占比为47%。这篇博客为大家列出全部录用的论文列表，方便大家自取。
多模态 —— Learnable pooling with Context Gating for video classification
qq_37668436的博客
06-28 1350
LOUPE结构详解
Learnable pooling with Context Gating for video classification
karen17的博客
07-11 851
Learnable pooling with Context Gating for video classification paper：https://arxiv.org/pdf/1706.06905.pdf introduction 我们将youtobe-8m视频理解的问题定义为“temporal feature aggregation”。当前时间维度的增强方案有：max & a...
视频分类算法Learnable pooling with Context Gating for video classification
like_study_cat的博客
05-08 1104
一般的视频理解方法通常对一段视频的间隔帧提取特征，取它们的极大值或均值来代表整段视频的特征，这是一种很简单的视频表示方法，但是容易陷入局部最优解，论文为此探索了一种可学习的池化技巧（learnable pooling techniques），它将多个算法（比如 Soft Bag-of-words, Fisher Vectors, NetVLAD, GRU and LSTM）相结合，共同组成视频特征...
视频分类算法（《《Learnable pooling with Context Gating for video classification》）
荆棘鸟的专栏
02-24 5783
一般的视频理解方法通常对一段视频的间隔帧提取特征，取它们的极大值或均值来代表整段视频的特征，这是一种很简单的视频表示方法，但是容易陷入局部最优解，论文为此探索了一种可学习的池化技巧（learnable pooling techniques），它将多个算法（比如 Soft Bag-of-words, Fisher Vectors, NetVLAD, GRU and LSTM）相结合，共同组成视频特征...
CVPR2017论文摘要汇总
super_chicken的博客
04-09 1万+
1. Exclusivity-Consistency Regularized Multi-view Subspace Clustering Abstract: Multi-view subspace clustering aims to partition a set of multi-source data into their underlying groups. To boost the ...
循环神经网络综述 -语音识别与自然语言处理的利器
热门推荐
SIGAI_CSDN的博客
06-15 2万+
本文为SIGAI原创文章，仅供个人学习使用，未经允许，不能用于商业目的导言 循环神经网络是一种具有记忆功能的神经网络，适合序列数据的建模。它在语音识别、自然语言处理等领域取得 了成功。是除卷积神经网络之外深度学习中最常用的一种网络结构。在本文中，SIGAI将和大家一起回顾循环神 经网络的发展历程与在各个领域的应用。 序列数据建模全连接网络和卷积网络在运行时每次接收的都是独立的输入数据，没有记忆能力...
【2011-2016】 NIPS汇总 - Advances in Neural Information Processing Systems
Testing的博客
10-02 1万+
Advances in Neural Information Processing Systems 24 (NIPS 2011) The papers below appear in Advances in Neural Information Processing Systems 24 edited by J. Shawe-Taylor and R.S. Zemel and P.L.
#Paper Reading# Learnable pooling with Context Gating for video classification
John159151的专栏
04-29 285
论文题目: Learnable pooling with Context Gating for video classification 论文地址: https://arxiv.org/abs/1706.06905 论文发表于: arXiv 论文大体内容： 本文主要提出了Gated NetVLAD模型，用于给视频打标，并在kaggle比赛中取得第一名。 Motivation： 如何更有效的对视...
《Beyond Short Clips: End-to-End Video-Level Learning with Collaborative Memories》论文笔记
LinxRds的博客
12-18 395
Abstract 解决的问题？ 现有的视频标准训练方式每个迭代会从原始视频中采样一个clip（剪辑），然后通过这一个clip来学习video-level级别的标签。本文认为一个clip不具有足够的时间覆盖性来展示需要识别的标签。而且这种学习方式阻碍模型学习长期时间依赖性的能力。 怎么解决的？ 引入了一种协同记忆机制（collaborative memory mechanism），在每个训练步，可以从同一个视频采样的多个clips中学习特征。 结果如何？ 该方法可以适用于不同的架构和任务
What makes training multi-modal classification networks hard?
lt1103725556的博客
08-08 1077
起因是作者发现在视频分类任务上，多模态模型反而不如单模态模型如上图，A是Audio，OF是光流(optical flow)。用的模型都是差不多的，举个例子，A+RGB就是在单RGB的基础上加了Audio的Encoder，然后把两个feature concat在一起，通过分类器分类。而单RGB就是直接RGB过encoder，然后过分类器分类。话说这里似乎没有在concat后增加transformer用来fuse？fuse模块或许可以一定程度上解决这个问题？...
视频内容理解相关方法
KongCDY的专栏
08-28 5577
不负责任且随意的总结……
基于Youtube-8M的视频场景分类
qq26983255的博客
12-07 7088
简介 首先对于视频和图片分类的区别，我的理解就是视频分类多了一些时间信息。另一方面对于视频分类包括的场景和动作这两类视频分类中，感觉时域信息的重要性也不同。动作分类更加注重时域信息这一点。总之，为了在普通的多张空域图像信息上提取时域信息，通常处理方法有：双流卷积（普通图像的空域信息加上几张图片的光流信息）、循环神经网络RCNN（包括主流的LSTM等）、3D卷积等。无论何...
视频理解论文和数据集
haima1998的专栏
12-15 4330
转自：https://github.com/sujiongming/awesome-video-understanding Awesome Video Understanding Understanding Video: Perceiving dynamic actions could be a huge advance in how software makes sense of
Context 笔记
qianyedoufulao的博客
05-25 6786
fffdff
在Keras 和 Tensorflow 框架下五种视频分类的实施方法
neural_net_child的博客
11-03 1万+
本文是翻译一篇大神的文章，点击查看原文，可能需要VPN才能查看。  目前视频分类是机器学习模式中独树一帜的挑战。今天我们就要来看看在Keras 和 Tensorflow 框架下的不同的视频行为识别策略，我们将会学着如何使用五深度学习的模式去学习UCF101数据组,具体代码在GitHub，有需要可以下载来看看视频分类的方法：  我们将会轮流讲述这五种方法来看看哪一个能够达到最后的效果，总共分成五个档次
视频分类/动作识别数据库研究现状
Cheese_pop的博客
10-09 3813
主要参考论文：A survey on deep learning based approaches for action and gesture recognition in image sequences 以及最后的YouTube-8M数据库的情况：
Task-Driven Feature Pooling for Image Classification（一种监督的pooling方法——mTDpooling）
cs_unsky的博客
05-27 1062
本文发表在ICCV2015上 图像分类基本分为两个大方向，一个是BOW词袋模型，和cnn卷积神经网络模型，而pooling是分类非常重要的一个环节。该文章使用BOW提取 的原始特征（如sift等）或者cnn模型的特征map进行pooling。 首先该文章使用的分类器是LSR（最小二乘回归）。该论文的pooling方法是一种隐式的pooling方法，即没有直接的公式给出pooli
sparse r-cnn: end-to-end object detection with learnable proposals
最新发布
03-16
Sparse R-CNN是一种端到端的物体检测方法，其中使用可学习的提议来检测目标。与传统的R-CNN方法不同，Sparse R-CNN使用了稀疏的特征图来提高检测效率。该方法在多个数据集上进行了测试，并取得了很好的性能。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值