论文阅读（21CVPR）：Semi-Supervised Action Recognition with Temporal Contrastive Learning

最新推荐文章于 2022-10-23 01:52:06 发布
最新推荐文章于 2022-10-23 01:52:06 发布
阅读量926 收藏 3
点赞数 2
分类专栏： 动作识别 无监督/半监督 文章标签： cv
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_38990652/article/details/121266286
版权

动机：

Temporal Contrastive Learning (TCL) （TASK-动作识别）

在这篇论文中，作者主要关注于视频中的“时间”这个监督信号，基于此提出了一个不同速度的时间通道对比模型，最小化不同速度的相同视频之间的相似度，最大化不同速度以及不同视频之间的相似度，由于instance-contrastive loss存在将相同类别的视频推远的缺点，作者提出了group-contrastive loss，将同一类别的识别归纳到同一个group中，并用group中的所有特征的平均值来表示该group，在group-level上计算对比损失

这篇论文在使用很少标签的基础上，取得很好的性能，并在域外的数据集上也证明了有较好的泛化性

如图2所示，该模型包含两个不同速度的时间通道，分别为base和auxiliary，base相比auxiliary有更多的视频帧

backbone首先在少量的labeled data上进行训练来进行初始化，使用cross-entropy loss

Instance-Contrastive Loss

在无标签数据上对不同速度的特征保持时间一致性来作为代理任务并使用pair wise contrastive loss

Group-Contrastive Loss

将有相同伪标签的视频分为同一个group

有相同label的不同速度的group应该保持high class consistency,作者提出了group-contrastive loss

Experiment

Ablation

李加贝_
关注
  • 2
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Semi-Supervised-Transfer-Learning:半监督转移学习的自适应一致性正则化（CVPR 2021）
03-06
半监督转移学习的自适应一致性正则化 该存储库用于以下论文中介绍的自适应知识一致性和自适应表示表示一致性： Abulikemu Abuduweili，Li Xingjian Li，Humphrey Shi，徐成中和Dou Dedou，“半监督转移学习的自适应一致性正则化”。 该代码是在具有Tesla V100 GPU的CentOS 6.3环境（Python 3.6，PyTorch 1.1，CUDA 9.0）上开发的。 内容 介绍 在这项工作中，我们考虑半监督学习和转移学习的结合，从而导致一种更实用和更具竞争力的范例，该范例可以利用源域中强大的预训练模型以及目标域中的带标签/未带标签的数据。 为了更好地利用预训练权重和未标记目标示例的价值，我们引入了自适应一致性正则化，它由两个互补组成部分：源模型和目标模型之间（（标记和未标记）示例上的自适应知识一致性（AKC）；以及目标模型上带标签和未
半监督动作识别(Semi-Supervised Action Detection)部分论文汇总
最新发布
xiongxyowo的博客
04-10 511
半监督动作识别(Semi-Supervised Action Detection)部分论文汇总
论文笔记：Temporal Complementary Learning for Video Person Re-Identification（TCLNet）用于视频行人重识别的时序互补学习
weixin_43179737的博客
08-04 1504
github代码地址：https://github.com/blue-blue272/VideoReID-TCLNet 作者团队：中科院&国科大 摘要：本文提出了一种时序互补学习(Temporal Complementary Learning)网络，该网络提取连续视频帧的互补特征以进行视频中的行人重识别。首先，我们介绍了一个时序显著性擦除（TSE）模块，其中包括显著性擦除操作和一系列有序学习器。 具体地，对于视频的特定帧，显著性擦除操作通过擦除由先前帧激活的部分来驱动特定学习者挖掘新的和互补的部
(CVPR2021) Video MoCo: Contrastive Video Representation Learning with Temporally Adversarial Example
wenniebear的博客
08-16 901
使用对抗的方法，引入了对于robust的正样本，具体方式为使用lstm随机drop掉video clip中的一些帧，同时由于负样本的队列中，越早进入的样本与正样本的差距越大，故给队列中的负样本一个权重系数(小于1)，越新的样本权重越大。 损失函数： 生成器： 判别器: 实验结果： 结论： ...
万物皆Contrastive Learning，从ICLR和NIPS上解读对比学习最新研究进展
09-27 1359
点击上方，选择星标或置顶，每天给你送上干货作者|对白  出品|公众号：对白的算法屋我为大家整理了对比学习在最新各大顶会上的论文合集及相应代码，所列举的论文涉及领域包括但不限于CV, NLP, Audio, Video, Multimodal, Graph, Language model等，GitHub地址：https://github.com/coder-duibai/Contrastive-Learning-Papers-Codes（请大家多多点赞支持ヽ(✿ﾟ▽ﾟ)ノ，笔芯！）大家好，
一文看懂半监督学习(Semi-supervised Learning)和自监督学习(Self-Supervised Learning)
qq_44015059的博客
05-30 5万+
1. 机器学习学习任务 1.1 监督学习 根据输入-输出样本对L={(x1,y1),⋅⋅⋅,(xl,yl)}L=\{(x1,y1),···,(xl,yl)\}L={(x1,y1),⋅⋅⋅,(xl,yl)}学习输入到输出的映射f:X−>Yf:X->Yf:X−>Y,来预测测试样例的输出值。SL包括分类(Classification)和回归(Regression)两类任务，分类中的样例xi∈Rmx_i∈R^mxi​∈Rm(输入空间)，类标签yi∈{c1,c2,⋅⋅⋅,cc}y_i∈\{c_1,c
自监督学习中的 Contrastive Learning 对比学习（持续更新）
学渣的博客
11-12 3万+
本文粗略介绍了对比学习的基本原理以及常见方法。 什么是对比学习？ 对比学习是一种自监督或者无监督学习的一种方法。通过对比未知样本和正负样本的相近程度，来给未知样本进行正负归类。 最早运用于判定图像表征之间的相似程度。 ...
video_repres_mas:CVPR-2019论文代码
05-23
我们的CVPR 2019论文Tensorflow实施 更新 可以在找到此项工作的期刊（T-PAMI 2021）扩展，其中包括大量的附加分析和显着的性能提升（〜30％）。 相应的PyTorch实现可在此处获取： : 。 概述 我们在UCF101数据集上...
A Semi-Supervised Assessor of Neural Architectures.pdf
10-19
这篇论文"A Semi-Supervised Assessor of Neural Architectures"是在计算机视觉领域的重要会议CVPR上发表的，主要探讨了神经架构搜索（Neural Architecture Search, NAS）中的一个重要问题：如何更高效地评估中间...
Semi Supervised Learning for Few Shot Image to Image Translation
07-18
To do so, we propose applying semi-supervised learning via a noise-tolerant pseudo-labeling procedure. We also apply a cycle consistency constraint to further exploit the information from unlabeled ...
CCT:[CVPR 2020] 具有交叉一致性训练的半监督语义分割
05-30
本 repo 包含 CVPR 2020 论文的官方实现：Semi-Supervised Semantic Segmentation with Cross-Consistecy Training，它采用了传统的半监督学习的一致性训练框架进行语义分割，扩展到弱监督学习和在多个域。...
CVPR2022论文列表（中英对照）
dovings的博客
07-04 1万+
CVPR论文列表，中英对照
paper总结（6）Cross-Model Pseudo-Labeling for Semi-Supervised Action Recognition
qq_50213874的博客
09-26 6815
paper
Dual Contrastive Prediction for Incomplete Multi-view Representation Learning个人学习2
double_yellow的博客
10-23 525
②让图片经过Autoencoder网络编码，并由Prediction网络做RGB转Depth或D转R后，数据更相似 -> dualprediction_loss双重预测损失。②Prediction：编码+解码 = forward：将autoencoder中间维度的信息，由RGB转为Depth（或D到R）①让图片经过Autoencoder网络编码解码后，数据基本不变 -> reconstruction_loss重构损失。④让同一类的Z1，Z2更相似 -> instance_contrastive_Loss。
CCF A类会议或期刊----近两年对比学习相关论文
Thincor的博客
03-20 5555
会议/期刊 论文 sigmod2021 Explaining Black-Box Algorithms Using Probabilistic Contrastive Counterfactuals. neurips2020 Adversarial Self-Supervised Contrastive Learning. neurips2020 Demystifying Contrastive Self-Supervised Learning: Invariances, Augme....
Contrastive Loss (对比损失)
热门推荐
autocyz
11-13 7万+
Contrastive Loss (对比损失)在caffe的孪生神经网络（siamese network）中，其采用的损失函数是contrastive loss，这种损失函数可以有效的处理孪生神经网络中的paired data的关系。contrastive loss的表达式如下： L=12N∑n=1Nyd2+(1−y)max(margin−d,0)2L=\frac{1}{2N}\sum_{n=1}
contrastive_loss() takes exactly 2 arguments (3 given)
weixin_43316934的博客
08-29 897
不局限于contrastive_loss，适用于所有在类中调用的函数。 最近在复现孪生网络，代码给出的loss是交叉熵，想到了经典的孪生网络的loss是contrastive_loss，想用contrastive_loss去替换交叉熵。就在网络down了一段代码，如下： def contrastive_loss(y_true, y_pred): margin = 1 ...
ICCV图像处理相关论文总结（103篇）（粗）
Lucifer_Ji的博客
05-09 5651
ICCV图像处理相关论文总结（103篇）1、Person ReID（行人再识别）（15）   1、Neural Person Search MachinesHao Liu, Jiashi Feng,Zequn Jie, Karlekar Jayashree, Bo Zhao, Meibin Qi, Jianguo Jiang, Shuicheng Yan 2、Cross-View Asymmetr...
SEMI-SUPERVISED FEW-SHOT ATOMIC ACTION RECOGNITION
weixin_42486554的博客
03-31 391
提示：这里可以添加要学的内容 例如： 1、 搭建 Java 开发环境 2、 掌握 Java 基本语法 3、 掌握条件语句 4、 掌握循环语句 Motivation 提示：这里统计学习计划的总量 例如： 1、 技术笔记 2 遍 2、CSDN 技术博客 3 篇 3、 学习的 vlog 视频 1 个 ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值