自监督｜「CoCLR」视频自监督对比学习笔记

最新推荐文章于 2024-08-20 09:29:06 发布
最新推荐文章于 2024-08-20 09:29:06 发布
阅读量5k 收藏 5
点赞数 1
分类专栏： -江户川-的自监督论文集 文章标签： 计算机视觉 深度学习 算法
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43092343/article/details/124020309
版权
本文深入探讨了VGG团队发布的CoCLR，一种视频自监督学习方法。CoCLR通过交替辅助训练的RGB和光流网络，提升了对比学习的表现。实验表明，这种方法在动作识别和视频抽取等下游任务中表现出色，证明了利用视频的多模态信息对于增强自监督学习的有效性。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

🔗

论文地址：https://www.robots.ox.ac.uk/~vgg/research/CoCLR/

Github: https://github.com/TengdaHan/CoCLR

一、背景介绍

  1. 作者背景： VGG (Oxford Visual Geometry Group) 牛津大学视觉几何组发布于 2020 NeurIPS

  2. 在图像和视频处理领域，自监督表征学习近两年的成果来自对比学习：给定数据集，目标是区别样本的“变体”和数据集中的其他样本。“变体”可以来自人造的，比如数据增强、也可以来自天然的，比如同一视频的不同片段出现的物体。常用的方法是实体判别，MoCo, SimCLR 都是这个思路，拉近正样本的距离，推远正样本与负样本的距离。因此对比学习非常灵活，不同的正负样本定义规则就会有不同，比如同一个视频里正负两帧都是正样本，其他视频认为负样本。

  3. 这篇文章提出的问题是：是否实体判别最大化利用数据？没有，原因如下

  • 常见对比学习困难正样本无法辨别：通过实验证明，困难正样本的数据（标签）加入能够提高表现。对比单纯使用无监督 InfoNCE 和使用有监督的 UberNCE 的实验结果。
  • 文章提出的 CoCLR, 效果比上面无监督 InfoNCE 和使用有监督的 UberNCE 的实验结果都好。采用两种 flow 网络和 RGB 网络交替辅助训练，本质是一种新的抽样方法。
  1. UberNCE 是什么？

a. 简单理解是给有类标签数据定义的对比损失函数，本质是 InfoNCE。

b.

最低0.47元/天 解锁文章
视频中的自监督学习：3篇“重构”的论文
weixin_42443072的博客
04-09 500
在之前Space-Time Cubic Puzzles的论文中，就提到了一些用重构的方式，来提取视频时空特征的论文，这里粗略过一下 Generating Videos with Scene Dynamics-NIPS-2016 说的是把GAN推广到视频上，新奇的是网络分了foreground stream和background stream，其中foreground是三维的反卷积做上采样，合成视频；background顾名思义是背景，就是二维的反卷积，这个stream生成的图片作为背景，在时域上是不变的。
视频中的自监督学习：Predicting Motion and Appearance Statistics
weixin_42443072的博客
04-12 1454
Self-supervised Spatio-temporal Representation Learning for Videos by Predicting Motion and Appearance Statistics 2019年的CVPR文章，作者所设计的pretext task是由运动、颜色衍生出来的统计量（具体来说是最大的动作位置以及方向，颜色改变最大 / 最小的位置以及颜色的值），在文章的Introduction中作者提到了动作的表示在人的视觉系统中是基于一系列learned pattern
Bilibili视频-对比学习论文综述【论文精读】
LiuAmber的博客
11-29 927
Bilibili视频-对比学习论文综述【论文精读】
NeuIPS2020|视频表示学习的自监督协同训练
AI算法后丹修炼炉
10-31 957
本文由牛津大学提出 作者主要研究针对视觉的自监督视频表示学习： （i）研究了在基于实例的信息噪声对比估计（InfoNCE）训练中添加语义类肯定句的好处，表明这种形式的监督式对比学习可以明显改善性能； （ii）提出了一种自监督协同训练方案，通过使用一个视图获取同一数据源的正视图样本来利用同一数据源的不同视图，即RGB流和光流的互补信息来改善InfoNCE损失。 （iii）在两个不同的下游任务（动作识别和视频检索）上全面评估所学表示的质量。 引言 作者以自监督视频表示学习为目标，提出一个问题：实例判别是否在充.
通过视频着色进行自监督跟踪
谷歌开发者
07-11 907
文 / 机器感知研究员 Carl Vondrick跟踪视频中的物体是计算机视觉领域的一个基本问题，对活动识别、物体交互或视频风格化等应用而言至关重要。不过，教会机器对物体...
视频中的自监督学习：Removing the background忽略视频的背景，学习robust的特征
weixin_42443072的博客
06-09 995
Removing the Background by Adding the Background: Towards Background Robust Self-supervised Video Representation Learning 【知乎的一篇介绍，写的很详细】 【代码、论文】 概述： CVPR2021的文章，本质上也是自监督学习中pretext task的设计，其中的思考很值得咀嚼吸收。 通篇提到的background，理解为“场景”更好一些 上面的知乎链接介绍了文章的动机： … 如果.
CVPR 2020 | ActBERT: 自监督多模态视频文字学习
Paper weekly
07-20 995
©PaperWeekly ·作者｜朱霖潮单位｜悉尼科技大学研究方向｜视频理解自监督特征学习近年来已有如火如荼的发展，并从单模态的自监督学习，如图片自监督特征学习，视频自监督特征学习，蔓...
活动报名 | 上交大副教授谢伟迪：视频自监督学习
BAAIBeijing的博客
03-28 4453
本期为青源LIVE第44期线上直播活动，参与直播互动有惊喜????！最近，自监督学习的方法取得了显著的进步，其与监督学习的方法相匹配，甚至超过了监督学习的方法。然而，研究的重点是从i.i.d数据中学习可转移的表征，例如图像。但在具体应用中，网络仍然需要在下游任务上使用手动注释进行微调。本期青源LIVE邀请了上海交通大学副教授谢伟迪博士做题为《视频自监督学习》的报告。主讲人：谢伟...
ActBERT：视频文本表征自监督学习
weixin_51697828的博客
07-22 409
ActBERT能够从未标记的数据中，进行视频文本联合表征的自监督学习。首先，ActBERT能够利用全局动作信息来促进语言文本和局部区域对象之间的相互作用。它从成对的视频序列和文本描述中发现全局和局部的视觉线索，用于视觉文本关系的建模。其次，ActBERT引入了TNT块(TaNgled Transformer Block)来编码全局动作、局部区域对象、语言描述三种信息源。它可以从上下文信息中提取合理的线索来发现全局和局部的对应关系。作者利用视频描述、动作分割、动作步骤定位、文本视频片段检索、视频问答等下游任务
视频自监督二. VTDL: Video-based Temporal Discriminative Learning
未到初级图像处理工程师
08-09 1130
视频自监督二. VTDL: 时序Discriminative 延续着之前视频自监督一中Intra-video Mixup 的工作，我们把这种augmentation的思想继续拓展了一下，提出了一个新的VTDL框架。 Pipeline 生成的Triplet可视化如下所示： ...
CoCLR:[NeurIPS'20]用于视频表示学习的自指导式联合训练。 韩腾达，谢维迪，安德鲁·齐瑟曼
04-20
CoCLR：用于视频表示学习的自我监督式联合训练 该存储库包含以下实现： InfoNCE（视频上的MoCo） UberNCE（有监督的视频对比学习） CoCLR 关联： 消息 [2021.01.29]上载UCF101的RGB和光流数据集 。 [2021.01.11]更新我们针对NeurIPS2020最终版本的论文：将表1中的InfoNCE-RGB-linearProbe基线结果从52.3％（预训练800个纪元，不重要和不公平）修正为46.8％（预训练500个纪元，公平的比较）。 感谢指出。 [2020.12.08]更新说明。 [2020.11.17]为UCF101实验上传预训练的权重。 [2020.10.30]根据一些研究人员的要求，更新“草稿”数据加载器文件，CoCLR代码，评估代码。 稍后将检查并添加详细说明。 培训前指导 UCF101-RGB上的InfoNCE预
视频序列对比学习
爱吃火锅的博客
01-07 873
前言 视频embedding化也即表征有很多实际的应用场景，比如文本-视频 pair的检索等等。由于视频一般来说较长，所以对于给定的一段话，其中的某些sentence句子一般对应着视频中某几个clip片段，之前常规的做法都是去匹配所有的sentence-clip pairs对。 但是这种单元级别匹配的做法会天然的忽略掉全局的时间序列，这样就在一定程度上限制了泛化性，比如对于一些背景相似的视频，通常会出现一种匹配错误的情况（如下图(a)(b)在画面视觉上很相似，但是分别对应着文本(1)(2)），为此本文提出了
VideoMAE：简单高效的视频自监督预训练新范式｜NeurIPS 2022
深度学习技术前沿
12-02 607
转自：新智元论文链接：https://arxiv.org/abs/2203.12602代码和预训练权重已经在Github开源：https://github.com/MCG-NJU/VideoMAE目录1. 背景介绍2. 研究动机3. 方法介绍4. VideoMAE实现细节5. 消融实验6. VideoMAE的重要特性7. 主要结果8. 对社区的影响9. 总结背景介绍视频自监督学习 (Video S...
探索视频表征学习的新境界：CoCLR自监督双训练框架
gitblog_00001的博客
06-08 465
探索视频表征学习的新境界：CoCLR自监督双训练框架 去发现同类优质开源项目:https://gitcode.com/ 在无尽的视频数据宝藏中挖掘深度含义，一直是计算机视觉领域的重大挑战。CoCLR（Self-supervised Co-Training for Video Representation Learning） 走在了这个探索的前沿，通过其创新的自监督共训练机制，为视频特征提取带来了...
推荐开源项目：视频全局上下文对比学习（VCLR）
gitblog_00057的博客
06-11 544
推荐开源项目：视频全局上下文对比学习（VCLR） video-contrastive-learningVideo Contrastive Learning with Global Context, ICCVW 2021项目地址:https://gitcode.com/gh_mirrors/vi/video-contrastive-learning 项目介绍 在计算机视觉领域，Video Cont...
对比自监督学习综述 - A Survey of Contrastive Self-Supervised Learning
Xovee
12-24 8928
本文介绍了最近流行的对比自监督学习。
如何评价FAIR提出的MaskFeat：一种适用图像和视频分类的自监督学习方法？
迈微AI研习社 · 号主
12-28 475
Facebook新作MaskFeat，该工作的ViT-B在ImageNet 1K上的准确率达到了84.0%，MViT-L在Kinetics-400上的准确率达到了86.7%，一举超越了MAE，BEiT和SimMIM等方法。
【视频理解】2022-CVPR-视频 Transformer 的长短时间对比学习
weixin_42475026的博客
06-23 272
视频Transformer最近成为 3D CNN 视频理解的竞争替代品。然而，由于它们的大量参数和减少的归纳偏差，这些模型需要在大规模图像数据集上进行有监督的预训练才能达到最佳性能。在本文中，我们凭经验证明，在纯视频数据集上对视频Transformer进行自我监督预训练可以导致动作识别结果与在大规模图像数据集上进行监督预训练所获得的结果相当或更好，甚至是像 ImageNet- 21K。由于基于 Transformer 的模型可以有效地捕获扩展时间跨度上的依赖关系，因此我们提出了一个简单的学习过程。
视频对比学习开源项目教程
最新发布
gitblog_00594的博客
08-20 472
视频对比学习开源项目教程 项目地址:https://gitcode.com/gh_mirrors/vi/video-contrastive-learning 项目介绍 视频对比学习（Video Contrastive Learning）是一个由亚马逊科学团队开发的开源项目，旨在通过对比学习方法提高视频数据的处理和分析能力。该项目利用深度学习技术，通过构建正负样本对来学习视频特征，从而在不依赖大量标...
AngularJS系列视频学习笔记：ui router
YouTube上的TechCBT频道提供了AngularJS的系列视频教学，本篇学习笔记将详细解读这一系列视频中涉及的关键知识点和技术细节。 1. AngularJS框架核心概念 AngularJS的核心概念包括MVC（模型-视图-控制器）、MVVM...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值