Self-Supervised Learning for Semi-Supervised Temporal Action Proposal-- CVPR 2021 论文阅读

最新推荐文章于 2023-05-12 14:23:38 发布
最新推荐文章于 2023-05-12 14:23:38 发布
阅读量462 收藏 1
点赞数
分类专栏： 视觉文本对齐 无监督/半监督 Temporal Action Proposal 文章标签： cv
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_38990652/article/details/120881140
版权

这篇论文，作者通过使用自监督方法来提升半监督的时间动作定位

  • temporal-aware semi-supervised branch
  • relation-aware self-supervised branch

semi-supervised branch：

Mean teacher

temporal feature shift

temporal feature flip

self-supervised branch：

masked feature reconstruction

clip-order prediction

 

Temporal-aware Semi-Supervised Branch

Teacher-student：

teacher模型使用EMA更新策略

对于labeled data，使用supervised loss

Unlabeled data，使用consistency loss (L2-loss)

 

对student的输入特征进行特征扰动

temporal feature shift：在feature map上沿着时间维度随机选择一些通道进行双向移动，作者随机选择μ通道（μ是超参数，μ/2的通道向前移动，μ/2的通道向后移动）

temporal feature flip：对特征进行水平翻转（作者说这样使得原始的proposal与翻转的视频特征之间能够很容易地一一对应，这里其实不太看明白为什么会对应）

 

Relation-aware Self-Supervised Branch

Masked feature reconstruction：随机mask掉一些时刻的特征，然后重构

Clip-order prediction：在随机打乱的feature map上预测正确的时间序列，在这篇论文中，作者使用两个随机打乱的特征序列进行重新排序

 

Experiments

与半监督方法对比

 

ablation

其中，-F为去掉F

 

李加贝_
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
CVPR2021论文：SemiSupervised Learning of Depth and Surface
禅与计算机程序设计艺术
08-20 648
作者：禅与计算机程序设计艺术 1.简介 近年来，单目视觉传感器成为了研究和开发计算机视觉系统的重要手段之一。在图像分类、对象检测、人脸识别等任务中，基于单目图像的深度估计(Depth Estimation)和表面法向估计(Surface Normal Estimation)技术得到了广泛应用。然而，深度
【论文阅读】半监督时序动作检测 Semi-Supervised Action Detection
三木今天学习了嘛の博客
11-26 1472
介绍了2019、2020、2021基于半监督的时序动作定位论文。大体上看，有两种思路：一是结合TAL和SSL两种方法，另一个是类似双流网络，解决了候选区域定位不准导致误差积累的问题。
半监督动作识别(Semi-Supervised Action Detection)部分论文汇总
xiongxyowo的博客
04-10 508
半监督动作识别(Semi-Supervised Action Detection)部分论文汇总
【笔记】 SCL （Supervised Contrastive Learning）论文分析：“监督对比学习“，相比”自监督对比学习“，从“同源” vs “非同源”，扩展为“同类” vs “非同类”
nyist_yangguang的博客
07-20 2676
监督对比学习“，相比”自监督对比学习“，将对比策略，从“同源”vs“非同源”，扩展为“同类”vs"非同类“。训练自己的模型时，也可以试试这个supervisedcontrastiveloss。引用2SupervisedContrastiveLearning论文实验非常充分，公式的推导也很扎实。具体可以看这里，是一篇很优秀严谨的论文。给人耳目一新的感觉，但论文中提到的诸多数据增强的方法，我的了解都很有限，后续会再看一些相关的论文。交叉熵（Cross-Entropy）......
Self-supervised Learning 中的 Contrastive Learning
weixin_43120238的博客
11-21 927
目前大多数深度学习的方法都依赖于人类所标注的信息，但是这会造成一些问题： 数据内部的结构信息比标注提供的信息要丰富，而监督方法忽视其重要性； 通过标签信息所训练得到的模型通常用于解决特定的任务，而不能作为知识一样可以被重新利用。 因此，自监督学习通过数据本身的信息来完成表征的学习。而且在Downstream（ Pacal VOC检测）任务上，已经能比肩或超过监督方法。 通常，自监督学习通过构建一些不专注于像素细节的表征（representation learning）而对高层特征进行编码而区分不同对象。
Self-labeled-techniques-for-semi-supervised-learning
05-15
标签中提到的"self-labeled"指的是自标记的过程，"semi-supervised-learning"表示半监督学习的场景，"tri-training"则是三重训练算法，"self-training"则对应自我训练方法。 项目报告可能涵盖了以下内容： 1. **...
Self-supervised Graph Learning for Recommendation
12-20
在推荐系统领域，自监督学习（self-supervised learning）已经成为一种新兴的研究焦点，尤其是在结合图学习（graph learning）的情况下。自监督学习的核心思想是利用数据自身的信息来构建监督信号，而不是依赖于人工...
论文研究-Pointwise Manifold Regularization for semi-supervised classification.pdf
08-16
点状半监督流形正则化分类学习，汪云云，沈雅婷，流形正则化(MR)是经典半监督分类学习方法，同时利用有标记和无标记样本进行学习。依据流形假设，约束流形结构图上相似样本具有相��
Self-Supervised_Learning_Papers-Code:自我监督学习论文
04-04
论文2021 RGB-D显着目标检测的自监督表示学习（） 通过自我监督的多任务学习来学习特定于形式的表示形式以进行多模态情感分析（）（） 理解无对比对的自我监督学习动力学（）（） 多视角的自我监督学习。（）（ ...
Nonnegative Sparse and KNN graph for semi-supervised learning
02-06
For the graph-based semi-supervised learning, the performance of a classifier is very sensitive to the structure of the graph. So constructing a good graph to represent data, a proper structure for ...
self-supervised-semantic-segmentation
03-27
SAR到光学转码的Pol-SAR图像语义分割的自我监督学习 在信息与通信工程硕士论文期间开发的框架。 工作介绍。 正在修订中，有可能发表。 很快将提供文档。 论文摘要： 在遥感领域，在过去的几十年中，数据采集过程得到了很大的发展。 每年都会部署许多新技术，例如传感器，卫星和太空探索任务。 这种探索未知的努力产生了很多有价值的数据。 如果将这些信息量存储在硬盘驱动器上，则可能成为负债而不是资产。 由于这些原因，利用收集的数据至关重要。 这就是为什么自动数据分析成为科学界的一个热门话题的动机。 本文的目的是针对极化合成Kong径雷达（Pol-SAR）图像的语义分割。 自动解释图像的最新技术称为人工神经网络。 这些技术经过算法训练，可以通过示例执行任务学习。 这意味着，训练此类算法最重要的要求是数据注释。 注释是包含数据解释的其他手工信息。 使用注释数据训练的算法在监督下得到解决。 相对于Po
Mix-and-Match Tuning for Self-Supervised Semantic Segmentation
02-08
作者：Xiaohang Zhan,Ziwei Liu,Ping Luo,Xiaoou Tang,Chen Change Loy 摘要：Deep convolutional networks for semantic image segmentation typically require large-scale labeled data, e.g. ImageNet and MS COCO, for network pre-training. To reduce annotation efforts, self-supervised semantic segmentation is recently proposed to pre-train a network without any human-provided labels. The key of this new form of learning is to design a proxy task (e.g. image colorization), from which a discriminative loss can be formulated on unlabeled data. Many proxy tasks, however, lack the critical supervision signals that could induce discriminative representation for the target image segmentation task. Thus self-supervision's performance is still far from that of supervised pre-training. In this study, we overcome this limitation by incorporating a "mix-and-match" (M&M) tuning stage in the self-supervision pipeline. The proposed approach is readily pluggable to many self-supervision methods and does not use more annotated samples than the original process. Yet, it is capable of boosting the performance of target image segmentation task to surpass fully-supervised pre-trained counterpart. The improvement is made possible by better harnessing the limited pixel-wise annotations in the target dataset. Specifically, we first introduce the "mix" stage, which sparsely samples and mixes patches from the target set to reflect rich and diverse local patch statistics of target images. A "match" stage then forms a class-wise connected graph, which can be used to derive a strong triplet-based discriminative loss for fine-tuning the network. Our paradigm follows the standard practice in existing self-supervised studies and no extra data or label is required. With the proposed M&M approach, for the first time, a self-supervision method can achieve comparable or even better performance compared to its ImageNet pre-trained counterpart on both PASCAL VOC2012 dataset and CityScapes dataset.
AAAI 2023 | 基于自监督逻辑归纳的可解释模糊时序常识推理
最新发布
zenRRan的博客
05-12 430
论文名称：Self-Supervised Logic Induction for Explainable Fuzzy Temporal Commonsense Reasoning论文作者：蔡碧波，丁效，孙洲浩，秦兵，刘挺，王宝军，尚利峰原创作者：蔡碧波出处：哈工大SCIR进NLP群—>加入NLP交流群动机介绍理解自然语言中与事件相交织的时间概念是理解事件演化的重要内容。人可以具有对事件的典型...
【论文笔记】Fine-Grained Segmentation Networks: Self-Supervised Segmentation for Improved Long-Term Visual
phy12321的博客
09-20 825
针对视觉定位的语义分割网络, ICCV 2019 论文工作的动机： using more segmentation labels to create more discriminative, yet still robust, representations for semantic visual localization 本文主要针对Long-term的视觉定位任务，提出了一个精细化分割网络，可以对场景进行精细化fine-grained的分割，得到相比于现有语义分割网络的分.
Adversarial Self-Supervised Learning for Semi-Supervised 3D Action Recognition
a1013552415的博客
04-12 309
对抗自监督学习对于半监督3D动作识别 1.介绍 常规的3D动作识别很大程度多行依赖于大量的手工数据标识，自监督半监督学习（S4L），他将半监督学习算法与自监督结合。 SSL方法通过骨骼修补的方式学习无标签序列的时间信息，他把每一个样本都当做单一的个体，忽略带有相似动作类别的样本的共享信息。 此外，我们还发现，直接应用SSL会造成已学习表征的错位，如图1，这个错位将弱化模型对还未训练的样本的泛化能力。一个与我们相似的问题是无监督区域适应性（UDA），其匹配来自不同区域的特征分布。在UDA中，特征分布的差异性是
MMDet——EMA更新hook详解
Irving.Gao的博客
11-01 1587
【代码】MMDet——EMA更新hook详解。
一文看懂半监督学习(Semi-supervised Learning)和自监督学习(Self-Supervised Learning)
热门推荐
qq_44015059的博客
05-30 5万+
1. 机器学习学习任务 1.1 监督学习 根据输入-输出样本对L={(x1,y1),⋅⋅⋅,(xl,yl)}L=\{(x1,y1),···,(xl,yl)\}L={(x1,y1),⋅⋅⋅,(xl,yl)}学习输入到输出的映射f:X−>Yf:X->Yf:X−>Y,来预测测试样例的输出值。SL包括分类(Classification)和回归(Regression)两类任务，分类中的样例xi∈Rmx_i∈R^mxi​∈Rm(输入空间)，类标签yi∈{c1,c2,⋅⋅⋅,cc}y_i∈\{c_1,c
【paper reading】《Proposal learning for semi-supervised object detection》
wd18508423052的博客
04-28 1651
原文地址： 文章目录1 Backgroud and Motivation2 Method2.1 overview2.2 self-supervised2.3 consistency3 Experiments4 Conclusions 1 Backgroud and Motivation 如上图d所示，半监督的目标检测是一部分数据具有和全监督一样的标注信息(包括目标框和对应的分类)，剩下部分的数...
帮我讲解总结一下Self-Supervised Learning for Recommender Systems: A Survey这篇论文
02-22
答：本文提出了一种基于自监督学习的推荐系统，它可以提取用户和物品之间的关系，以更准确地预测用户的需求。它可以构建具有最佳性能的推荐系统，可以更好地满足用户的社交和娱乐需求。它使用机器学习算法来构建推荐系统，以捕获用户和物品之间的复杂关系，并且还可以提取用户对物品的情感和偏好。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值