论文阅读（21CVPR）：Semi-Supervised Action Recognition with Temporal Contrastive Learning

最新推荐文章于 2023-05-31 19:39:53 发布
最新推荐文章于 2023-05-31 19:39:53 发布
阅读量897 收藏 2
点赞数 2
分类专栏： 动作识别 无监督/半监督 文章标签： cv
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_38990652/article/details/121266286
版权

动机：

Temporal Contrastive Learning (TCL) （TASK-动作识别）

在这篇论文中，作者主要关注于视频中的“时间”这个监督信号，基于此提出了一个不同速度的时间通道对比模型，最小化不同速度的相同视频之间的相似度，最大化不同速度以及不同视频之间的相似度，由于instance-contrastive loss存在将相同类别的视频推远的缺点，作者提出了group-contrastive loss，将同一类别的识别归纳到同一个group中，并用group中的所有特征的平均值来表示该group，在group-level上计算对比损失

这篇论文在使用很少标签的基础上，取得很好的性能，并在域外的数据集上也证明了有较好的泛化性

如图2所示，该模型包含两个不同速度的时间通道，分别为base和auxiliary，base相比auxiliary有更多的视频帧

backbone首先在少量的labeled data上进行训练来进行初始化，使用cross-entropy loss

Instance-Contrastive Loss

在无标签数据上对不同速度的特征保持时间一致性来作为代理任务并使用pair wise contrastive loss

Group-Contrastive Loss

将有相同伪标签的视频分为同一个group

有相同label的不同速度的group应该保持high class consistency,作者提出了group-contrastive loss

Experiment

Ablation

李加贝_
关注
  • 2
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
时序动作定位 | 用于弱监督时态动作定位的细粒度时态对比学习（CVPR 2022）
LiRongLu_的博客
07-16 477
关于Fine-grained Temporal Contrastive Learning for Weakly-supervised Temporal Act论文学习，本文认为，通过上下文比较序列之间的差异来学习，在WSAL中提供了一种基本的归纳偏差，并有助于识别连贯的行动实例。具体而言，在可微动态规划公式下，设计了两个互补的对比目标，包括细粒度序列距离(FSD)对比和最长公共子序列(LCS)对比，其中第一个目标通过匹配、插入和删除动作来考虑各种动作/背景建议之间的关系，第二个...............
video_repres_mas:CVPR-2019论文代码
05-23
通过预测运动和外观统计信息进行视频的自监督时空表示学习 我们的CVPR 2019论文Tensorflow实施 更新 可以在找到此项工作的期刊（T-PAMI 2021）扩展，其中包括大量的附加分析和显着的性能提升（〜30％）。 相应的PyTorch实现可在此处获取： : 。 概述 我们在UCF101数据集上实现部分训练代码。 它包含基于运动统计信息的自我监督学习（请参阅本文中的更多详细信息）。 整个训练协议（运动统计信息和外观统计信息）都在pytorch版本中实现： : 。 要求 tensorflow> = 1.9.0 的Python 3 cv2 科学的 资料准备 您可以从下载原始UCF101数据集。 然后从视频中提取RGB图像，最后使用TVL1方法提取光流数据。 但是我建议您直接下载feichtenhofer提供的的预处理RGB和光流数据。 火车 在这里，我们提供了带有“占位
paper总结（6）Cross-Model Pseudo-Labeling for Semi-Supervised Action Recognition
qq_50213874的博客
09-26 6789
paper
【综述】视频无监督域自适应（VUDA）的小综述
猫猫头的博客
05-31 1188
一篇小综述，大家看个乐子就好，参考文献来自于一篇综述性论文这次基于三篇有代表性的文章来讲解。
SEMI-SUPERVISED FEW-SHOT ATOMIC ACTION RECOGNITION
weixin_42486554的博客
03-31 384
提示：这里可以添加要学的内容 例如： 1、 搭建 Java 开发环境 2、 掌握 Java 基本语法 3、 掌握条件语句 4、 掌握循环语句 Motivation 提示：这里统计学习计划的总量 例如： 1、 技术笔记 2 遍 2、CSDN 技术博客 3 篇 3、 学习的 vlog 视频 1 个 ...
半监督动作识别(Semi-Supervised Action Detection)部分论文汇总
xiongxyowo的博客
04-10 495
半监督动作识别(Semi-Supervised Action Detection)部分论文汇总
论文笔记：Temporal Complementary Learning for Video Person Re-Identification（TCLNet）用于视频行人重识别的时序互补学习
weixin_43179737的博客
08-04 1452
github代码地址：https://github.com/blue-blue272/VideoReID-TCLNet 作者团队：中科院&国科大 摘要：本文提出了一种时序互补学习(Temporal Complementary Learning)网络，该网络提取连续视频帧的互补特征以进行视频中的行人重识别。首先，我们介绍了一个时序显著性擦除（TSE）模块，其中包括显著性擦除操作和一系列有序学习器。 具体地，对于视频的特定帧，显著性擦除操作通过擦除由先前帧激活的部分来驱动特定学习者挖掘新的和互补的部
Adversarial Self-Supervised Learning for Semi-Supervised 3D Action Recognition
a1013552415的博客
09-28 330
Adversarial Self-Supervised Learning for Semi-Supervised 3D Action Recognition Abstract 自监督学习（SSL）已被证明在图像域中从未标记数据中学习表示非常有效。目前，针对三维动作识别的有效自监督方法还不多见，直接将SSL应用于半监督学习，存在从SSL学习到的表征与有监督学习任务不一致的问题。为解决这个问题。作者提出对抗自监督学习（ASSL），它通过领域关系提取和对抗学习把SSL和半监督方法结合。 Introduction
(CVPR2021) Video MoCo: Contrastive Video Representation Learning with Temporally Adversarial Example
wenniebear的博客
08-16 895
使用对抗的方法，引入了对于robust的正样本，具体方式为使用lstm随机drop掉video clip中的一些帧，同时由于负样本的队列中，越早进入的样本与正样本的差距越大，故给队列中的负样本一个权重系数(小于1)，越新的样本权重越大。 损失函数： 生成器： 判别器: 实验结果： 结论： ...
Evolving Losses for Unsupervised Video Representation Learning
weixin_40240831的博客
12-09 454
这是google发在CVPR 2020上的文章，链接为： 论文链接 实验结果就不放了
Semi-Supervised-Transfer-Learning:半监督转移学习的自适应一致性正则化（CVPR 2021）
03-06
该存储库用于以下论文中介绍的自适应知识一致性和自适应表示表示一致性： Abulikemu Abuduweili，Li Xingjian Li，Humphrey Shi，徐成中和Dou Dedou，“半监督转移学习的自适应一致性正则化”。 该代码是在具有...
Semi Supervised Learning for Few Shot Image to Image Translation
07-18
To do so, we propose applying semi-supervised learning via a noise-tolerant pseudo-labeling procedure. We also apply a cycle consistency constraint to further exploit the information from unlabeled ...
A Semi-Supervised Assessor of Neural Architectures.pdf
10-19
CVPR论文
CCT:[CVPR 2020] 具有交叉一致性训练的半监督语义分割
05-30
本 repo 包含 CVPR 2020 论文的官方实现：Semi-Supervised Semantic Segmentation with Cross-Consistecy Training，它采用了传统的半监督学习的一致性训练框架进行语义分割，扩展到弱监督学习和在多个域。...
[2021] Spatio-Temporal Graph Contrastive Learning
小卜妞的博客
04-21 1609
21-Spatio-Temporal Graph Contrastive Learning 郑宇、梁玉轩 1 摘要 深度学习模型是时空图(STG)预测的现代工具。尽管它们很有效，但它们需要大规模的数据集来获得更好的性能，并且容易受到噪声扰动。为了减轻这些限制，一个直观的想法是使用流行的’数据增强’和’对比学习’技术。然而，现有的图对比学习方法由于三个原因不能直接应用于STG预测。 经验发现，预测任务无法从对比学习得到的预先训练的表征中获益。 用于击败噪声的数据增强方法对STG数据的探索较少。 忽略了样本的
万物皆Contrastive Learning，从ICLR和NIPS上解读对比学习最新研究进展
09-27 1330
点击上方，选择星标或置顶，每天给你送上干货作者|对白  出品|公众号：对白的算法屋我为大家整理了对比学习在最新各大顶会上的论文合集及相应代码，所列举的论文涉及领域包括但不限于CV, NLP, Audio, Video, Multimodal, Graph, Language model等，GitHub地址：https://github.com/coder-duibai/Contrastive-Learning-Papers-Codes（请大家多多点赞支持ヽ(✿ﾟ▽ﾟ)ノ，笔芯！）大家好，
深度学习方法（十九）：一文理解Contrastive Loss，Triplet Loss，Focal Loss
热门推荐
Bin 的专栏
03-08 2万+
我们平时ML任务的时候，用的最多的是cross entropy loss或者MSE loss。需要有一个明确的目标，比如一个具体的数值或者是一个具体的分类类别。但是ranking loss实际上是一种metric learning,他们学习的相对距离，相关关系，而对具体数值不是很关心。ranking loss 有非常多的叫法，但是他们的公式实际上非常一致的。大概有两类，一类是输入pair 对，另外一种是输入三元组结构。
SMATE: Semi-Supervised Spatio-Temporal Representation Learning on Multivariate Time Series
小蚂蚁与大象
06-10 214
摘要：多元时间序列(MTS)的学习近年来受到广泛关注。特别是考虑到MTS的复杂维数和连续的数据结构，标签短缺对MTS的分类任务是一个真正的挑战。与自我训练和阳性标记学习依赖基于距离的分类器,在本文中,我们提出SMATE,小说semi-supervised模型学习可判断的时空表示从弱MTS的标签。我们验证经验学习表示30日公共数据集从UEA MTS档案。我们将其与13种用于完全监督任务的最新基线方法和4种用于半监督任务的基线方法进行比较。结果表明了该方法的可靠性和有效性背景：存在的方法大多是完全监督的，在构建
Self-Supervised Learning for Semi-Supervised Temporal Action Proposal-- CVPR 2021 论文阅读
李加贝的博客
10-21 450
这篇论文，作者通过使用自监督方法来提升半监督的时间动作定位 temporal-aware semi-supervised branch relation-aware self-supervised branch semi-supervised branch： Mean teacher temporal feature shift temporal feature flip self-supervised branch： masked feature reconstruction c
cvpr 2019之迁移学习:contrastive adaptation network for unsupervised domain a
最新发布
01-28
CVPR 2019中发表了一篇题为“迁移学习:无监督领域自适应的对比适应网络（Contrastive Adaptation Network for Unsupervised Domain Adaptation）”的论文。这篇论文主要介绍了一种用于无监督领域自适应的对比适应网络。 迁移学习是指将从一个源领域学到的知识应用到一个目标领域的任务中。在无监督领域自适应中，源领域和目标领域的标签信息是不可用的，因此算法需要通过从源领域到目标领域的无监督样本对齐来实现知识迁移。 该论文提出的对比适应网络（Contrastive Adaptation Network，CAN）的目标是通过优化源领域上的特征表示，使其能够适应目标领域的特征分布。CAN的关键思想是通过对比损失来对源领域和目标领域的特征进行匹配。 具体地说，CAN首先通过一个共享的特征提取器来提取源领域和目标领域的特征表示。然后，通过对比损失函数来测量源领域和目标领域的特征之间的差异。对比损失函数的目标是使源领域和目标领域的特征在特定的度量空间中更加接近。最后，CAN通过最小化对比损失来优化特征提取器，以使源领域的特征能够适应目标领域。 该论文还对CAN进行了实验验证。实验结果表明，与其他无监督领域自适应方法相比，CAN在多个图像分类任务上取得了更好的性能，证明了其有效性和优越性。 综上所述，这篇CVPR 2019论文介绍了一种用于无监督领域自适应的对比适应网络，通过对源领域和目标领域的特征进行对比学习，使得源领域的特征能够适应目标领域。该方法在实验中展现了较好的性能，有望在无监督领域自适应任务中发挥重要作用。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值