(CVPR 2021)Self-supervised Video Representation Learning by Context and MotionDecoupling

最新推荐文章于 2023-03-29 16:49:45 发布
VIP文章 最新推荐文章于 2023-03-29 16:49:45 发布
阅读量582 收藏 1
点赞数
分类专栏： 论文
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/wenniebear/article/details/119727693
版权

目前video understanding 中存在一个context bias的一个问题，即网络判断动作的时候并不是根据动作motion信息判断，而是根据context 静态场景判断。故本文提出了一个pretext task，直接使用compressed video中的key frame 和motion vector来进行对比学习，以此摆脱context bias这个问题。任务有两部分，context matching  和motion prediction两部分。

主要框架：

context matching：关键帧的特征和video clip提取出来的特征来进行contrastive learning,由于维度不同，所以需要经过全局池化并且MLP,使两个feature的维度相同，之后再进行contrastive learning

Motion Prediction:从当前的video clip

最低0.47元/天 解锁文章
winniewu1998
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Self-Supervised_Learning_Papers-Code:自我监督学习论文
04-04
自我监督学习（SSL） 文件 论文2021 RGB-D显着目标检测的自监督表示学习（） 通过自我监督的多任务学习来学习特定于形式的表示形式以进行多模态情感分析（）（） 理解无对比对的自我监督学习动力学（）（） 多视角的自我监督学习。（）（ ICLR 2021 ） 与差异的对比：带有噪声标签的学习的自我监督式预训练。（）（ ICLR 2021 ）（） 自我监督的可变自动编码器。（）（ ICLR 2021 ） 自我监督视觉预训练的密集对比学习。（）（ CVPR 2021 ）（）（） 超越眼界的是：通过提取多模态知识进行自我监督的多目标检测和声音跟踪。（）（ CVPR 2021 ） AdCo：有效地从自我训练的负面对手中学习无监督表示的对抗性对比。（）（ CVPR 2021 ）（） 探索简单的暹罗表示学习。（） Barlow Twins：通过减少冗余进行自我监督的学习。（）
Self-Supervised Video Representation Learning by Context and Mot
11-17
Self-Supervised Video Representation Learning by Context and Motion Decoupling 通过上下文和运动解耦进行自我监督的视频表示学习
论文阅读：Self-supervised Video Representation Learning with Cross-Stream Prototypical Contrasting
qq_37246721的博客
02-12 2033
题目：Self-supervised Video Representation Learning with Cross-Stream Prototypical Contrasting 作者：Martine Toering 一、研究背景 传统的自监督对比学习不适用于视频： 实例级的对比学习取得了很大进展，但是由于操作是用于经过增强的实例集上的，所以并不适用于探索视频的丰富动态结构。视频本身提供的数据增强，如：视角变化，光线，形变，运动等，却没有被充分利用。 传统对比学习忽视了实例间的语义相似性： 在负样本对
论文阅读：Self-supervised video representation learning with space-time cubic puzzles
qq_36627158的博客
05-27 308
论文名称：Self-supervised video representation learning with space-time cubic puzzles（2019 AAAI） 论文作者：Dahun Kim, Donghyeon Cho, In So Kweon 下载地址：https://ojs.aaai.org/index.php/AAAI/article/view/4873 Contributions In this paper, we introduce a new self..
《Self-supervised Video Representation Learning Using Inter-intra Contrastive Framework》论文阅读笔记
boombung的博客
12-29 708
《Self-supervised Video Representation Learning Using Inter-intra Contrastive Framework》论文阅读笔记 论文地址：https://arxiv.org/pdf/2008.02531.pdf 代码地址：https://github.com/BestJuly/IIC 目录引言一、文章解析1.1 backbone1.2 inputs1.3 contrastive learning1.4 joint representation1.5
论文阅读：Self-Supervised Video Representation Learning With Odd-One-Out Networks
qq_36627158的博客
05-27 701
目录 Contributions Method 1、Model 2、Three sampling strategies. 3、Video frame encoding. Results More Reference to Follow 论文名称：Self-Supervised Video Representation Learning With Odd-One-Out Networks（2017 CVPR） 论文作者：Basura Fernando, Hakan Bilen, ..
Awesome-Self-Supervised-Papers:自我监督学习纸银行
03-20
最近更新：2021. 03. 12。 更新2月，3月发表的论文 任何贡献，欢迎发表评论。 计算机视觉（CV） 预训练/功能/表示 对比学习 会议/期刊 纸 ImageNet Acc（前1名） CVPR 2006 -- arXiv：1807.03748 -- arXiv：1911....
Self-supervised-Monocular-Trained-Depth-Estimation-using-Self-attention-and-Discrete-Disparity-Volum:CVPR 2020论文的复制品-使用自我注意和离散视差量的自我监督单眼训练深度估计
05-04
该项目是CVPR 2020论文的复制品 使用自我注意和离散视差量的自我监督单眼训练深度估计 阿德里安·约翰斯顿，古斯塔沃·卡内罗 它建议通过完全监督的方法来弥补性能差距，该方法仅使用单眼序列进行训练，并借助附加...
CVPR2021-Transformer-and-Low-level-Vision
04-09
带有代码的论文--- [ ] 带有代码的纸--- [ ] 变压变压器 预培训图像处理变压器，[]，[] 注意力可视化之外的变压器可解释性，[]，[] 生成对抗式变压器，[]，[] 变压器中的变压器，[]，[] 带有变压器的端到端视频...
A Self-supervised Approach for Adversarial Robustness.pdf
10-19
CVPR论文
(CVPR2021) Video MoCo: Contrastive Video Representation Learning with Temporally Adversarial Example
wenniebear的博客
08-16 889
使用对抗的方法，引入了对于robust的正样本，具体方式为使用lstm随机drop掉video clip中的一些帧，同时由于负样本的队列中，越早进入的样本与正样本的差距越大，故给队列中的负样本一个权重系数(小于1)，越新的样本权重越大。 损失函数： 生成器： 判别器: 实验结果： 结论： ...
Self-supervised Video Transformer 阅读
scarlet witcher的博客
09-02 1314
本文是针对video transformer进行自监督训练，从一个给定的视频中，创建具有不同空间大小和帧率的局部和全局时空视图，自监督的目标是寻找相同视频的不同视图特征之间的匹配。Self-supervised Video Transformer（SVT），使用相似性目标训练师生模型，该目标通过时空注意力匹配沿时空维度的表示。提出一种新的自监督训练方式，利用全局和局部时空视图之间的时空关系来进行自监督训练。SVT中的自监督是通过联合motion和crossview的关系进行学习。
Anticipating Visual Representations from Unlabeled Video
cv_family_z的博客
08-01 1242
CVPR 2016 Anticipating Visual Representations from Unlabeled Videohttp://www.guokr.com/article/441589/预测未来？ 本文使用CNN网络，通过学习大量未标记视频数据，来预测未来发生的事情。虽然效果不完美，但是方向还是很吸引人的，相信不远的将来该方向会有更大的进步。本文的网络结构如下： 因为未来具有多
Video Representation Learning Using Discriminative Pooling 阅读
eglxiang的博客
08-14 432
It enables MIL into the hinge loss. 他们觉得有些问题，时序不那么重要，pooling本身也不够discriminative，但是可以改进。怎么改，改loss I suspect if the proposed SVM pooling methods work for complex backgrounds, say, dynamic scenes. ...
论文阅读：(CVPR 2022) Motion-Adjustable Neural Implicit Video Representation
mqy19960330的博客
06-21 858
CVPR 2022 Motion-Adjustabe Neural Implicit Video Representation
【论文笔记】Video2Vec: Learning Semantic Spatial-Temporal Embeddings for Video Representation
迷川浩浩的博客
03-13 2557
摘要翻译这篇论文我们提出了一种视频片段的语义和时空信息嵌入(embedding)方法。视频作为语义连续的时序列帧，我们借助视频的这个特点来表达视频的高层特征（备注，视频和图像的高层特征通常就是指understanding层面）。我们的网络提取CNN的特征并且训练了两个学习视频的文本信息地独立GRU编码器，此外我们还把视频的彩色图像序列和光流序列嵌入到相同尺寸的表征向量(representation)
CVPR无监督/自监督学习(Un/Self-supervised Learning)方向论文学习（附摘要）
weixin_43570470的博客
03-29 1623
2021、2022年CVPR无监督/自监督学习(Un/Self-supervised Learning)论文整理（附摘要）
论文阅读VideoMAE: Masked Autoencoders are Data-Efficient Learners for Self-Supervised Video Pre-Training
qq_42740834的博客
03-06 849
为了在相对较小的数据集上实现最佳性能，通常需要对超大规模数据集上的video transformers进行预训练。在本文中，我们展示了video masked autoencoders(VideoMAE)是用于自监督视频预训练(SSVP)的数据高效学习者。我们受到最近ImageMAE[31]的启发，提出了特定的video tube masking带有极高的比例。
Evolving Losses for Unsupervised Video Representation Learning
weixin_40240831的博客
12-09 448
这是google发在CVPR 2020上的文章，链接为： 论文链接 实验结果就不放了
CVPR2021语义分割
最新发布
07-27
CVPR2021是计算机视觉和模式识别领域的顶级国际会议，语义分割是其中一个研究方向。在CVPR2021中，语义分割的相关研究和进展得到了广泛关注和讨论。 在CVPR2021的语义分割领域，研究者们提出了许多创新的方法和技术，以提高语义分割任务的准确性和效率。一些研究工作关注于深度学习模型的设计和优化，通过引入注意力机制、上下文信息等来提升语义分割的性能。另外，一些研究工作探索了多模态信息的融合，如将RGB图像与深度图像、语义信息等进行联合学习，以提高语义分割的鲁棒性和泛化能力。 此外，CVPR2021还涉及到语义分割的一些具体应用场景，如医学图像分割、自动驾驶中的实时语义分割等。这些应用场景的研究不仅关注算法的性能，还关注在特定领域中实际应用的可行性和效果。 总的来说，CVPR2021在语义分割领域展示了许多令人振奋的研究工作和进展，为语义分割任务的发展提供了新的思路和方法。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值