论文阅读——S4L：Self-Supervised Semi-Supervised Learning

最新推荐文章于 2023-01-15 22:21:45 发布
最新推荐文章于 2023-01-15 22:21:45 发布
阅读量1.4k 收藏 2
点赞数
分类专栏： 半监督学习 自监督学习 文章标签： 机器学习 计算机视觉
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_44317766/article/details/113359537
版权

论文链接：https://openaccess.thecvf.com/content_ICCV_2019/papers/Zhai_S4L_Self-Supervised_Semi-Supervised_Learning_ICCV_2019_paper.pdf

从论文的模型图来看，将整个数据集分为了有标记数据和无标记数据。对于标记数据来说，模型会同时预测旋转角度和标签，对于无标签数据来说，只会预测其旋转角度，预测旋转角度”可以替换成任何其它无监督task，例如文章中提到的exemplar self-supervision。总的来说，需要借助于无监督学习，为无标注数据创建一个pretext task，这个pretext task能够使得模型利用大量无标注学习一个好的feature representation
损失函数为：
在这里插入图片描述

前半部分是有标记数据的损失（交叉熵），后面是无标记数据的自监督损失。自监督部分是提出了两个算法，一个无监督损失是旋转预测任务，另一个是基于图像变换的triplet损失。

看的比较浅，只是看了下核心模型图，以及如何结合的部分

coding小白
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 3
    评论
专栏目录
【LIMU-Bert论文阅读】
weixin_43659314的博客
12-01 1327
该文章为LIMU-BERT: Unleashing the Potential of Unlabeled Data for IMU Sensing Applications的阅读文摘。
自监督学习(Self-Supervised Learning)多篇论文解读（下）
吴建明wujianming_110117
05-30 2292
自监督学习(Self-Supervised Learning)多篇论文解读（下） 之前的研究思路主要是设计各种各样的pretext任务，比如patch相对位置预测、旋转预测、灰度图片上色、视频帧排序等等。CVPR19和ICCV19上，Google Brain的几个研究员发表了两篇论文，从另外的视角分析和研究self-supervised learning问题。两篇paper名字分别是：Revisiting Self-Supervised Visual Representation Learning (CVP
监督学习、半监督学习、无监督学习、自监督学习、强化学习和对比学习
云隐雾匿的博客
01-15 9329
监督学习、半监督学习、无监督学习、自监督学习、强化学习和对比学习
一文看懂半监督学习(Semi-supervised Learning)和自监督学习(Self-Supervised Learning)
qq_44015059的博客
05-30 5万+
1. 机器学习学习任务 1.1 监督学习 根据输入-输出样本对L={(x1,y1),⋅⋅⋅,(xl,yl)}L=\{(x1,y1),···,(xl,yl)\}L={(x1,y1),⋅⋅⋅,(xl,yl)}学习输入到输出的映射f:X−>Yf:X->Yf:X−>Y,来预测测试样例的输出值。SL包括分类(Classification)和回归(Regression)两类任务，分类中的样例xi∈Rmx_i∈R^mxi​∈Rm(输入空间)，类标签yi∈{c1,c2,⋅⋅⋅,cc}y_i∈\{c_1,c
自监督直接和具体任务的结合（Task Related Self-Supervised Learning）的探索
简单记录生活、学习
08-22 1256
这篇论文的思想非常直观，如图，首先，Data Augmentation相关的方法会对通过对原始图片进行一些变换（颜色、旋转、裁切等）来扩充原始训练集合，提高模型泛化能力；Multi-task learning将正常分类任务和self-supervised learning的任务（比如旋转预测）放到一起进行学习。作者指出通过data augmentation或者multi-task learning等方法的学习强制特征具有一定的不变性，会使得学习更加困难，有可能带来性能降低。因此，。
无监督 自监督---综述
xys430381_1的专栏
12-16 3444
何恺明一作，刷新7项检测分割任务，无监督预训练完胜有监督
Self-labeled-techniques-for-semi-supervised-learning
05-15
标签中提到的"self-labeled"指的是自标记的过程，"semi-supervised-learning"表示半监督学习的场景，"tri-training"则是三重训练算法，"self-training"则对应自我训练方法。 项目报告可能涵盖了以下内容： 1. **...
SS-SFDA-Self-Supervised-Source-Free-Domain-Adaptation-for-Road-Segmentation-in-Hazardous-Environme:论文“ SS SFDA”的代码库
04-12
论文 项目页面 在观看整个视频 如果您觉得有用，请引用我们的论文。 @article{kothandaraman2020safe, title={SAfE: Self-Attention Based Unsupervised Road Safety Classification in Hazardous Environments},...
参考论文1：SSDA-YOLO: SEMI-SUPERVISED DOMAIN ADAPTIVE YOLO FOR CROSS
06-04
In this paper, we propose a novel semi supervised domain adaptive YOLO (SSDA-YOLO) based method to improve cross-domain detection performance by integrating the compact one-stage stronger detec
Self-Supervised-Sketch-to-Image-Synthesis-PyTorch:AAAI-2021论文“Self-Supervised Sketch-to-Image Synthesis”的pytorch实现
05-30
自监督-Sketch2Image-pytorch 自监督草图到图像模型的 pytorch 实现，该论文可以在找到。0. 数据对于 CelebA 和 WikiArt 绘画图像，预处理后的 RGB 图像数据及其对应的草图图像可在此1. 说明代码结构如下： models....
SelfGNN: Self-Supervised Graph Neural Networks for Sequential Re
最新发布
06-17
论文汇报内容
【系列论文研读】Semi-supervised learning：VAT，TEM，S4L，UDA
Always_ease的博客
03-31 1789
一、Virtual Adversarial Training (VAT) 原文：Virtual adversarial training: a regularization method for supervised and semi-supervised learning.（2018PAMI） 作者：T. Miyato, S.-i. Maeda （Kyoto University, Kyot...
自监督学习 | (1) Self-supervised Learning入门
热门推荐
sdu_hao的博客
02-26 10万+
原文地址 本文通过整理自监督学习的一系列工作，把主流方法分成三大类，方便大家更全面的了解自监督学习的定义、方法、用途。 学习的范式 我们首先来回顾下机器学习中两种基本的学习范式，如图所示，一种是监督学习，一种是无监督学习（林轩田课程中把机器学习范式分为监督学习、半监督学习、无监督学习以及强化学习）。 监督学习利用大量的标注数据来训练模型，模型的预测和数据的真实标签产生损失后进行反向传播（计算梯度...
解读自监督学习(Self-Supervised Learning)几篇相关paper
深度学习与计算机视觉
01-31 3567
作者：bingo本文转载自知乎，作者bingo已授权，未经许可请勿二次转载。Supervised deep learning由于需要大量标注信息，同时之...
【系列论文研读】Self-supervised learning：rotating，M&M tuning，Jigsaw++
Always_ease的博客
07-10 2322
Self-supervised Spatiotemporal Feature Learning by Video Geometric Transformations 处理数据：video 方法： a set of pre-designed geometric transformations (e.g. rotating 0°, 90°, 180°, and 270°) are applied...
Semi-supervised Learning ;半监督学习
丁磊_ml的博客
04-02 6673
1. 进入半监督学习 2. 半监督学习 出现的原因？？？ 原因：收集样本数据容易，但是给每个样本打标签 成本就很高。 Collecting data is easy, but collecting “labelled” data is expensive. 3. 本篇博客讲解的半监督学习的内容？ 3.1 Semi-supervised Learning for Gene...
【论文阅读】半监督、自监督和无监督技术在图像分类中的应用综述
博客
03-01 5371
论文标题 A survey on Semi-, Self- and Unsupervised Techniques in Image Classification 概念解释 unsupervised 输入只有样本没有标签，损失函数需要的一切参数都由输入样本生成 semi-supervised 输入的样本有一部分是有标签的，另一部分没有标签，通常损失函数=有监督损失函数+无监督损失函数 self-s...
人工智能的下半场，一定少不了自监督学习
喜欢打酱油的老鸟
11-30 1704
导语：本文从图像、视频、控制三个角度分别介绍了自监督表征学习的最新进展。 雷锋网(公众号：雷锋网)AI科技评论按：深度学习在计算机视觉、自然语言处理、语音识别等领域的广泛应用催生了人工智能的第四次爆发。然而，当前主流的监督式学习任务往往过度依赖于人工标注，即所谓「有多少人工就有多少智能」。因此，通过自监督的方式自动生成监督信号成为了越来越多人工智能从业者的选择。本文从图像、视频、控制三个角度分别...
SuperPoint: Self-Supervised Interest Point Detection and Description
05-29
It is a self-supervised method, meaning that it learns to detect and describe interest points without any labeled data. Instead, it uses a loss function that encourages the model to produce ...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值