无监督自监督---综述

xys430381_1

已于 2022-08-06 21:46:12 修改

阅读量3.4k

点赞数 2

分类专栏：深度学习文章标签：机器学习深度学习人工智能

于 2019-12-16 15:35:37 首次发布

本文链接：https://blog.csdn.net/xys430381_1/article/details/103563887

版权

深度学习专栏收录该内容

138 篇文章 56 订阅

订阅专栏

对比学习
Boosting Self-Supervised Learning via Knowledge Transfer
RETHINKING DATA AUGMENTATION: SELF- SUPERVISION AND SELF-DISTILLATION。
Revisiting Self-Supervised Visual Representation Learning (CVPR19)
S^4L: Self-Supervised Semi-Supervised Learning(ICCV19) 。
- BYOL
- 监督对比学习
MAE系列

OpenSelfSup: Open-MMLab自监督表征学习代码库
自监督学习论文集装箱：awesome-self-supervised-learning
综述 | 自监督学习（Self-Supervised Learning） 2018-2020年的发展

Self-supervised Learning 再次入门（xys：1、基于上下文、基于时序、基于对比等分类，2、自监督学习的基本方法流程；3、提及自监督与具体任务相结合–多任务学习）
通过图像混合和标签平滑提升无监督学习性能
 何恺明一作，刷新7项检测分割任务，无监督预训练完胜有监督

对比学习

从 SimCLR 到 BarLow Twins ，一文了解自监督学习不断打脸的认知发展史
Barlow Twins: Self-Supervised Learning via Redundancy Reduction
https://arxiv.org/abs/2103.03230
在这里插入图片描述
终于到了这次的主角：Barlow Twins。在不考虑数据增强这种大家都有的trick的基础上， Barlow Twins 既没有使用负样本，也没有动量更新的网络，也没有predictor和stop gradient操作。Twins 所做的是换了一种视角去学习表示，从embeddig本身出发，而不是从样本出发。优化目标是使得不同视角下的特征的相关矩阵接近恒等矩阵，即让不同的维度的特征尽量表示不同的信息，从而提升特征的表征能力。这种做法，感觉和以前传统降维（如PCA）的方法是有共通之处的。

无监督表示学习（一）：2018 Contrastive Predictive Coding(CPC)
DeepMind无监督表示学习重大突破：语音、图像、文本、强化学习全能冠军！（xys：CPC）
《Supervised Contrastive Learning》笔记

深入分析三种对比学习方法：SimCLR、CPC、AMDIM（写的很好，描述很多实现细节）
—对应的原论文

自监督、半监督和有监督全涵盖，四篇论文遍历对比学习的研究进展（对比学习也可以跟普通的监督学习结合，而不是仅用于自监督学习）

Boosting Self-Supervised Learning via Knowledge Transfer

在这里插入图片描述

在这里插入图片描述
（a）中的pretext task是Jigsaw++ task

解读自监督学习几篇相关paper
自监督学习的思想非常简单，就是输入的是一堆无监督的数据，但是通过数据本身的结构或者特性，人为构造标签（pretext）出来。有了标签之后，就可以类似监督学习一样进行训练。
比较知名的工作有两个，一个是：Unsupervised Visual Representation Learning by Context Prediction(ICCV15)，如图一，人为构造图片Patch相对位置预测任务，这篇论文可以看作是self-supervised这一系列方法的最早期paper之一；另一个是：Unsupervised Representation Learning by Predicting Image Rotations (ICLR18)，如图二，人为构造图片旋转角度预测任务，这篇论文因为想法极其简单在投稿到ICLR之后受到了极大关注，最终因为实验结果非常全面有效最终被录用。

RETHINKING DATA AUGMENTATION: SELF- SUPERVISION AND SELF-DISTILLATION。

这篇论文的思想非常直观，如图三。首先，Data Augmentation相关的方法会对通过对原始图片进行一些变换（颜色、旋转、裁切等）来扩充原始训练集合，提高模型泛化能力；Multi-task learning将正常分类任务和self-supervised learning的任务（比如旋转预测）放到一起进行学习。作者指出通过data augmentation或者multi-task learning等方法的学习强制特征具有一定的不变性，会使得学习更加困难，有可能带来性能降低。因此，作者提出将分类任务的类别和self-supervised learning的类别组合成更多类别(例如 (Cat, 0),(Cat,90)等)，用一个损失函数进行学习。
在这里插入图片描述

Revisiting Self-Supervised Visual Representation Learning (CVPR19)

Revisiting这篇paper研究了多种网络结构以及多种self-supervised的任务的组合，得到了一些启发性的经验结论：
与supervised learning不同的是，self-supervised learning在不同task上的结果依赖于网络结构的选择，比如对于rotation预测，RevNet50性能最好，但是对于Patch预测，ResNet50v1性能最好。

以前的self-supervised方法通常表明，alexnet的最后几层特征性能会下降。但是这篇paper结论是对于skip-connection（resnet）结构的网络，高层的特征性能并不会下降。

增加filter数目和特征大小，对于性能提升帮助很大。

衡量无监督性能最后训练的线性分类器非常依赖学习率的调整策略。
在这里插入图片描述