自监督学习 Self-Supervised Learning

概念

1. 入门，这一篇讲的很详细

2.1 简单明了，通俗易懂

2.2. 自监督学习性能概述，对当前自监督学习的效果有一个大概的认识

2.3. 自监督学习的经典文章 Unsupervised Visual Representation Learning by Context Prediction
3. 清华 CVer 对自监督学习的一些思考

没有人类参与？即使人类标注的信息不作为标签也不能用？
4. 迁移学习概述（Transfer Learning）.
区分迁移学习和自监督学习？

问题：

1. 上游任务是否可以自己设置
   可？

2. 上游和下游模型必须一致？或有别的要求？
   encoder相同，只是下游重新训练fc层

3. 数据集用几个？
   3.1 数据集1既用来训练，也用来test
   3.2 《Video Playback Rate Perception for Self-supervised Spatio-Temporal Representation Learning》

   上游任务用UCF101的训练集进行训练和（从训练集中随机抽出800个视频）验证，下游任务用UCF101的其二部分和HMDB51的一部分微调，测试用这两个数据集的剩余部分？不太确定

   contribution：1. A novel video Playback Rate Perception (PRP) approach is proposed to capture temporal resolution characteristics within video domain in a self-supervised manner. （提出一种自监督的方法来捕捉…）2. PRP is implemented with … 3. We apply PRP to three kinds of 3D CNNs and two target tasks including action recognition and video retrieval, and improve the state-of-the-arts with significant margins. （证明提出方法在具体任务上的有效性）

   3.3 《Self-Supervised Learning for Facial Action Unit Recognition through Temporal Consistency》

   数据集1用来训练和验证上游任务，然后取出在验证集上结果最好的模型作为encoder。下游模型用数 据集2,3,4,5分为训练集（、测试集）和测试集。训练集用来训练全连接层。

   实验：四个数据集上分别和自监督以及监督学习的方法对比

   3.4 《A Perceptual Prediction Framework for Self Supervised Event Segmentation》应该是一个框架分别在三个不同的数据集上做上游pre-train和下游测试，三个数据集的实验独立。

4. 只能用数据本身，不能借助人工标签？
   对